обзор программ удаляющиx дубликаты строк
 

Решил сделать обзор программ удаляющиx дубликаты строк. Также желающие могут продолжить даный список.


Описание:
Программа создаёт файл на основе исходного путём сортировки строк исходного файла и удаления дубликатов строк с учётом регистра, лидирующих и замыкающих пробелов и/или символов табуляции.
При нажатии кнопки Stay on top - программа всегда будет отображаться поверх всех окон.

Скачать


Описание:

• Удаление дублей
• Разбивка
• Сортировка
• Единовременная обработка более чем одного файла
• Поддержка Drag and Drop - "перетаскивание"
• Поддерживает параметры командной строки (можно указать список файлов которые при запуске будут обработаны или выделить пачку файлов и перетащить на иконку с приложением)
• С кириллицей не работает

Скачать


Описание:
Консольная программа.
1-ый способ: перетаскиваем файл в консольное окно и удаляем кавычки из пути к файлу. Жмём Enter.
2-ой способ: закидываем файл в папку с программой и пишем название файла (обязательно вместе с форматом файла) в консольном окне. Жмём Enter.
На выходе получаем файл Out.txt

Скачать


Описание:
Плюсы:

• быстрая работа
• удобное GUI
• сортировка выходного файла по алфавиту
• добавление файлов Drag&Drop'ом - "перетаскивание"

Минусы:

• сортировку не отключить
• добавленный файл не убрать из списка на обработку
• вылет при попытке выйти из программы, во время работы
• программа не работает с бинарными файлами

Virustotal: click
Скачать


Описание:
Удаляет повторы строк в текстовом файле, в то же время сортирует список по алфавиту. Также есть функция удалить повторы и оригиналом.

Скачать


Описание:
Основные функции программы - это работа со словарями, но она также удаляет дубликаты.

• Обрезать слова до указанной длины
• Слово в нижний регистр (abcd)
• Слово в верхний регистр (ABCD)
• Первая буква слова в верхний регистр (A***)
• Первая буква слова в нижний регистр (a***)
• Чередовать регистры (AbCd, aBcD)
• Удаление дубликатов без сортировки.

Скачать

Для удаление дубликатов прокси можно также использовать FP4m от NemeZz


ПРОДОЛЖЕНИЕ В 10 ПОСТЕ.

ТАКЖЕ ПРОЗЬБА МОДЕРАТОРАМ ОБЪЕДИНИТЬ 1 И 10 ПОСТ

вроде норма)) лови +

Спасибо! Как раз это я и искала!

Для коллекции :)
DoubleDel
http://i036.radikal.ru/0907/73/c31ef1f7f87d.jpg
Скачать

http://slil.ru/27830130

GeneratoR Pro
http://s40.radikal.ru/i089/0906/fc/546fbc034dca.jpg

Возможности:
Генерирование по диапазону с одним или несколькими паролями.
Генерирование из файла с одним или несколькими паролями.

Имеются такие функции:
- Cортировка
- Clonekiller (удаление повторов)
- Spacekiller (удаление пробелов)
http://i017.radikal.ru/0906/a6/5e6392677c88.jpg
http://s59.radikal.ru/i165/0906/42/7a1a71a3d213.jpg
- Удаление Y из X;Y при любом разделителе
- Обмен местами X;Y на Y;X
- Быстрая замена

! Работа как в окне программы, так и с .txt файлом

Решил скопировать обзор программ удаляющих дубликаты строк

мда...дело пахнет плагиатом

"Чужие статьи"

Описание:
Text Duplicate Killer - программа, предназначенная для удаления из текста повторяющихся строк (не обязательно смежных). В результате создается новый текстовый файл, в котором каждая строка встречается только один раз.

Как найти дубликаты

• У Вас должен быть готов файл формата ASCII, содержащий текст, в котором Вы хотите удалить дублирующиеся строки. Если Вам нужно обработать текст из файлов DOC или RTF, то экспортируйте его в ASCII.
• После запуска утилиты tdk.exe выберите пункт меню Файл|Открыть исходный файл и укажите файл, в котором необходимо удалить дубликаты.
• Затем с помощью пункта меню Файл|Задать целевой файл укажите имя нового файла. В этот файл утилита поместит обработанный текст, который уже не будет содержать дубликатов. Вы можете автоматически создать новое имя. Для этого нажмите кнопку с “волшебной палочкой”.
• Для запуска процесса поиска и удаления дубликатов выберите пункт меню Операции|Убрать дубликаты!. В любой момент Вы можете прервать работу, нажав на кнопку Стоп, находящуюся в правом нижнем углу. При большом объеме текста обработка может занять некоторое время.

Скачать

Где копирайты? Не стыдно писать "решил сделать обзор" когда обзор не твой? Да и зачем этот обзор, когда программы в основном отличаются друг от друга лишь дизайном. Обзоры пишутся, чтобы указать различия, преимущества, недостатки программ, сходных по выполняемым функциям...

Целый день ищу, не могу найти :(

Нужна программа, для удаления дубликатов, но что бы пустые строки оставались (на месте дубликатов). Никто не подскажет такую?

Заранее благодарен.

notepad++

Автоформат
 

Вот норм Программка пользуюсь сам

http://kfvbyfn.ucoz.ru/avto.jpg

Автоформат – программа для автоматического форматирования текста и подсчёта статистики
Меню Сервис:
Обрезать пробелы – обрезать пробелы и табуляцию в началах и концах строк
Удалить двойные пробелы – удалить двойные, тройные и т.д. пробелы по всему тексту
Удалить пустые строки – пустые строки удаляются по всему тексту
Удалить дубли – удаляются полные дубликаты строк. Проверьте, если в началах и концах строк лишние пробелы
Удалить уникальные – удаляются только уникальные строки, дубли остаются. Каждого дубликата остаётся на один меньше. Чтобы оставить их по одному, выберите Удалить дубли
Сортировать – текст сортируется по возрастанию
Сортировать зеркальные – сортируется по возрастанию текст зеркальных строк
Перемешать – текст перемешивается - каждая строка меняется со случайной местами

---------------------
Сайт Автора
скачать L1
L 2

!TNK!, спасибо! То что доктор прописал ;)

Продолжайте в том же духе

Я поддерживаю автора

Спасибо за прогу Duplicat Remover by Teso

очень нужная прога , при удалении дублей не перемешивает строки

Подскажите, какая из этих прог работает без зависания с большими словарями в 3-4 гига? Спасибо.

скачай - проюзай - отпиши

Text Duplicate Killer

Dup Kill

Dik Tool

http://www.proxy-base.org/f50/programmy_udalyayuschie_dublikaty_strok-646.html

вот откуда он сплагиатил ; )

Недавно начал учить язык программирования Delphi и вот практиковался, и написал вот такую вот программку))

DupDel v0.1

Программа для поиска и удаления дубликатов(повторений) в списке.

Скачать

Будем тестировать,но не плохо для новичка

Подскажите прогу для удаления дубликатов вместе с оригиналом.

DupKill не справляется

Мне реально помогла очистить от дублей, файл больше 2гб, только Fast Duplicates Remover.

Остальные проги либо вообще не открывают файл, либо вылетают

подскажите прогу которая будет вычитать одну базу из другой.

есть проспамленная база, есть новая. надо из новой отнять проспамленную.

тобеш из:

1

2

3

отнять :

2

3

4

получится в итоге должно:

1

есть такая прога. 100к отнимает от 100к буквально за пол дня. надо быстрее минут за 20 хотя бы

я не программист. можно линк на готовые решения? спасибо

РАбочий СОФТ!! +

Выложите ту прогу, которая из одного списка удаляет второй, пожалуйста

TextDup by CyberKrot

Программа для удаления дубликатов в файлах.

Особенности программ:

1) Не создаёт лишних файлов.

2) Не сортирует.

3) Позволяет выбрать существующий файл для сохранения, удаляет дубликаты с проверкой всех строк в этом файле.

4) Отсутствует графический интерфейс позволяющий наблюдать за процессом удаления дубликатов, в конце своей работы выводит сообщение с результатом и предложением открыть новый файл.

Скачать

Sublime Text

• Edit -> Permute Lines -> Unique

Работает достаточно быстро с большими файлами (проверял текстовик на 1.5 млн строк).

Скачать:

http://ge.tt/5IpzJlg/v/0 (Sublime Text 3 build 3021)

http://s004.radikal.ru/i205/1305/f5/ed5411a872d1.png

Добрый день. Подскажите пожалуйста программу, которая могла бы с текстового файла убрать слова менее 8 символов. 8 и больше оставлять остальные удалить. Текстовые файлы очень большие. Спасибо

Каждое слово идет в новой строчке

Парни! Столкнулся с такой проблемой. Есть файл с текстом (TXT) Размером 50gb. Есть ли такой софт который сможет проверить на дубликаты. Каждое слово написано одну строку. Заранее ОГРОМНОЕ СПАСИБО

Замена дублирующих строк на пробелы

Подскажите, пожалуйста, не знаете ли вы такую программу, которая не удаляла бы дубликаты строк, а заменяла их, скажем на 0 или пробел или просто оставляла строку пустую. Никак не могу решить одну проблему

Ах, сколько бы восхитительного и первоклассного софта мир не увидел бы, знай люди про grep, sed и регулярки. В частности, практически любой вопрос\софт, упомянутый в топике реализуется одной строкой.

такое можно сделать в экселе, смотря на сколько большие файлы

Есть большая вероятность, что программы будут глючить с таким размером, лучше разделить

возможно ЭТО вам поможет, если нет, можно написать скрипт замены