sort не вытянет 100гб
-
XSS.stack #1 – первый литературный журнал от юзеров форума
прочее Ищу софт для удаления дублей строк с файла 100ГБ+
- Автор темы Ezios
- Дата начала
тестировал?
Прям 100гб нет, но помню что и меньший объем долго сортировал
Сортом чистил > 800гб паблик ULP логов
url:login:pass ?, если да то круто
Если для unix:
Самый простой и непринужденный вариант:
uniq input_file > output_file
Примерно такой же по простоте, что и выше:
sort -u input.txt -o output.txt
Ну и наконец с лимитом по потреблению памяти, если совсем уж выполняя ваши условия:
sort -T /sort_dir -S 4G -u input_file -o output_file
В последнем случае, параметр -S ограничивает потребление памяти данным процессом. Если проиводится выход за лимит, то временные данные сортировки складируются в директорию /sort_dir
Самый простой и непринужденный вариант:
uniq input_file > output_file
Примерно такой же по простоте, что и выше:
sort -u input.txt -o output.txt
Ну и наконец с лимитом по потреблению памяти, если совсем уж выполняя ваши условия:
sort -T /sort_dir -S 4G -u input_file -o output_file
В последнем случае, параметр -S ограничивает потребление памяти данным процессом. Если проиводится выход за лимит, то временные данные сортировки складируются в директорию /sort_dir
Чем этот вариант не подходит? /threads/123192/
Как профи профи. EmEditor используй. Лучшее решение в мире, поддержка, откат и настройка.
В чем разница 100 Гб или тысяча. Зависит от трефакторки. Каретки, начало, перенос строки, чтения файла-сорца блоками, индексирование.
100 или10 гб. Пойми логику регулярок. Часто пацаны тупят по синаксису. Взяли анализ с начало строки и пиши пропало ))
В чем разница 100 Гб или тысяча. Зависит от трефакторки. Каретки, начало, перенос строки, чтения файла-сорца блоками, индексирование.
100 или10 гб. Пойми логику регулярок. Часто пацаны тупят по синаксису. Взяли анализ с начало строки и пиши пропало ))