Да и кстати. У многих уже палец прирос к мыши что частенько всплывают темы как люди пишут свои чистилки дублей на пыхе, паскале и т.д.
т.е. получается что вы изобретаете велосипед? о_О
тогда как знающие напишут в консоле: `cat file.txt | sort | uniq > unic.txt` и проблем нет.
И что лучше потрать 5-10 минут на создание программы, чем выучить пару консольных команд потому что консоль это для красноглазых идиотов?