можно еще так: засовываешь текст мемо в стринглист, сортируешь его. далее - сравниваешь первую строку со второй, и если они совпадают - удаляешь вторую. если не совпадают - сравниваешь вторую с третьей. и т.д.
довольно шустрый метод, чесслово
а можно еще так взять двоичное дерево поиска вствлять в него строки после вставки оно уже не содержит дубли
а за счет дерева и двоичного поиска обработает как минимум 5 миллионов очень быстро про какие то ~5k и говорить не стоит