Вообще если тебе хочется чтобы было прям так красиво, то ставь MS Visual Studio Professional (в Express этого нет) и там есть тип проекта - установщика.
Там ты можешь создать нормальный инсталятор или msi файла. Тамже ты сразу можеш настроить куда будут кидаться проги, а также действия которые будут выполнены (добавление записей в реестр итд итп)