Как средствами Linux можно сравнить 2 тхт фаила с ип адресаи на выходе получить тхт с уникальными ипами
фаилы по 650 мб
фаилы по 650 мб
-
XSS.stack #1 – первый литературный журнал от юзеров форума
Сравнить 2 .txt фаила и оставить только уникальные значения
- Автор темы boriselcin
- Дата начала
cat perviy.txt vtoroy.txt | sort | uniq > tretiy.txt
что-то вроде этого. объединяет два файла, сортирует и записывает уникальные в третий
- Автор темы
- Добавить закладку
- #4
поидее 3й фаил должен быть на много меньше а он получился больше
Что, в данном контексте, значит "уникальными"? Те, которые есть только в одном из файлов?
comm -12 textfile1.txt <(cat textfile2.txt | sort | uniq) > result.txt
насколько я понял задачу, соединить file1.txt, file2.txt и почистить дубли в полученном file3.txt
как вариант
соединяем
cat file1.txt file2.txt > file3.txt удаляем дубли
uniq file3.txt > out.txt
- Автор темы
- Добавить закладку
- #8
Наверно будет проще сказать вот так, у меня есть отсканеный деп ип адресов за август и за сентябрь, мне нужны сравнить 2 этих фаила и вытащить только новые ипы
ну просто соедини, почисти и получишь чистый файл, как я и Измаиловский написали выше
если тебе именно сравнить, сделай это в том же notepad++, diffdog и тд, это будет проще, объем файлов не настолько большой
если ты сравнивать хочешь в линуксе, еще есть прекрасная команда diff
diff myfile1 myfile2 > changes.diff результат сравнения у тебя будет в changes.diff
По 650 метров файлы. Мы же не знаем какая у него система. На том же ай5 с 8 оперативы это будет ад через Notepad++.
Для больших текстовиков EmEditor в самый раз.
- Автор темы
- Добавить закладку
- #11
выделеннй сервер с 60гб озу задача решена всем спасибо