главная задача грамотного (ценящего свое время) человека - оптимизировать словарь, а значит убрать повторения и (опционально) отсортировать. иначе нет никакого смысла в таком большом словаре (ксли половина слов 0 повторки).

Также если например нужен словарь для брута асек - обрезать все пароли до длины 8 символов ( больше не может быть).

Для этого писал специально прогу, но рационального (нашел не очень устраивающее меня) решения не нашел (чтобы быстро сортировать и удалять дубликты. с огромными словарями моя прога работает не совсем верно (сортирует не до конца). а удаляет дубликаты только из отсортированого словаря (это сделано для поддержания высокой производительности).

Если у кого есть прога, которая поддерживает все эти функции (и обязательно имеет высокую производительнось), то я буду рад принять ее в дар)))). а еще лучше с исходниками).