нельзя невкоем случа все данные из файла переносить в ОЗУ, ибо как сказал Pashkela
взять файл на 2гаги и плакали вы со своими 1г ОЗУ.
Можно например брать строчку из исходного файла, проверять нетли ее в выходном файле, если нет то писать туда. Но миллионная строчка будет в худшем случа сравниваться 99999 строчками в выходном файле... короче факториал будет у вас, время работы такова приложение будет O(n)=n! где n число сточек в исходном файле. Зато ограничения на оперативку и входной файл нету. Ничего более умней придумать несмог.
Выкладываем свои идеи. Думаю если найдеться хороший алгоритм, многие его закодят, ибо полезная штука будет.