Ок затестим .
KeyWordKeeper неплохая для такого, утилита от Guron'a берет меньше объемы, но если оператива позволяет.
KWK имеет ограничение на кол-во строк.
Актуально.
у rand есть же актуальное, бесплатное решение. не подходит разве?
sort [OPTION]... [FILE]...
sort [OPTION]... --files0-from=F
-S, --buffer-size=SIZE
use SIZE for main memory buffer
--parallel=N
change the number of sorts run concurrently to N
-u, --unique
with -c, check for strict ordering; without -c, output only the first of an equal run
-o, --output=FILE
write result to FILE instead of standard outputsort -S 8G --parallel=8 -u {file1} {file2} ... -o sorted.txt
эт правда. Написан на сях, параллелит процессы, на все ядра + примочки приложения, сортировки поиск, сравнение файлов, - визуализация и тд
Вы определитесь. Вам шашечки или ехать. Если мало памяти выделить то каждую часть файла придётся сверять рекурсивно, условно делить по 8гб и сравнивать каждый файл друг с другом выделяя дубли во временный файл который не должен быть больше 8 гб потом удалить то что есть во временном файле из всех файлов т.е. в память прогнать 8+8 итого ваши 16 и получить результат, или быстро дать 100 гигов оперативки и построить массив с ключ строкой и сохранить, это все +- условно. Тут либо много оперативки и быстро или мало оперативки и медленно. Не бывает такого, что много и бесплатно.
Есть такое, но даже с 16Gb оперативы и подкачкой гиг на 500 можно спокойно отработать на дубли 100-гиговый текстовик.однако, у тебя, locative явно не 16 гб оперативки
Ну в данном случае файл подкачуи оправдан если это SSD желательно серверный, а не raid sas hdd. А так да, решение с файлом подкачки вполне оправданно.
на 100% согласен, но если используешь unix-о подобные системы то самописный python скрипт отлично справиться с этой задачей
Зачем на unix подобных системах использовать питон если есть уже ранее упомянутый sort?
