прочее Проблема с подсчетом совпадений, прощу помощи у знающих.

[ucrypt]

Собрал словарь паролей, мне нужно сделать подсчет количества совпадений в каждом отдельном словаре. Я использую для этих целей DBeaver и такой скрипт

select
pass
,count(pass) as СОВПАДЕНИЯ
from
BASE1
group by
pass
order by СОВПАДЕНИЯ desc

Методом проб выяснилось, что около 700к строк он обрабатывает и выводит данные в нужном формате:

которые экспортируются в таблицу например(для удобства).
Если количество строк большее, мне выдает ошибку:

Если разбить нужный файл на меньшие куски,все посчитается,но как же тогда склеить результаты? Ведь нужно узнать количество совпадений во всем файле.
Может решение простое,я не смог его найти. Сначала я подумал что проблема в нехватке оперативной памяти,но DBeaver потребляет что-то около 2Гигов и не более. В системе стоит 16Гигов. Пробовал на 32Гигах, результат тот-же. Возможно где-то стоит ограничение на количество входных данных,я не смог найти где это ограничение и есть ли он, гугл так же не помог.
Если есть более простое решение, подскажите пожалуйста, ИИ выдал скрипт на питоне,который крашится видимо из-за спецсимволов,тут же я экранирую проблемные ковычки и все работает как надо.
Максимальный файл имеет 5 миллионов строк, от 5 до 15 символов,включая спецсимволы.

 

[waahoo]

Linux тебе в помощь.

sort -u *.txt > zaebatiy.dict

"Складывает" все txt файлы в текущей директории в один файл, с проверкой на дубли, с сортировкой по алфавиту.

 

[ucrypt]

Linux тебе в помощь.

sort -u *.txt > zaebatiy.dict

"Складывает" все txt файлы в текущей директории в один файл, с проверкой на дубли, с сортировкой по алфавиту.

Спасибо, но мне нужно как у меня на скрине, пароль1 - 200 (раз потворяется) пароль2 - 148 (раз повторяется) и так дальше...

 

[waahoo]

Спасибо, но мне нужно как у меня на скрине, пароль1 - 200 (раз потворяется) пароль2 - 148 (раз повторяется) и так дальше...

Аа, блин, не правильно задачу прочитал.
Может тогда так?

cat *.txt | sort | uniq -c

 

[ucrypt]

Аа, блин, не правильно задачу прочитал.
Может тогда так?

cat *.txt | sort | uniq -c

Помогло,огромное спасибо! Линукс сила конечно)

 

[waahoo]

Помогло,огромное спасибо! Линукс сила конечно)

С сортировкой по количеству вхождений:

cat *.txt | sort | uniq -c | sort -n -r

TOP100:

cat *.txt | sort | uniq -c | sort -n -r | head -100

 

[ucrypt]

С сортировкой по количеству вхождений:

cat *.txt | sort | uniq -c | sort -n -r

еще лучше,жаль табуляция не включается, чтобы потом колонку с числом вхождений удалить(((

 

[waahoo]

еще лучше,жаль табуляция не включается, чтобы потом колонку с числом вхождений удалить(((

убрать префиксы и разделить табуляцией? легко:

cat *.txt | sort | uniq -c | sort -n -r | sed 's/\s\{6\}//' | sed 's/\s/\t/'

 

[ucrypt]

убрать префиксы и разделить табуляцией? легко:

cat *.txt | sort | uniq -c | sort -n -r | sed 's/\s\{6\}//' | sed 's/\s/\t/'

То что надо, еще раз спасибо)))

 

[ucrypt]

Удалите пожалуйста тему, от стыда подальше)))

 

[Wolverine]

Удалите пожалуйста тему, от стыда подальше)))

А если еще кому-то понадобится? Для этого же форум

 

[ucrypt]

А если еще кому-то понадобится? Для этого же форум

И верно, я подумал, что один такой идиот)))

 

[waahoo]

И верно, я подумал, что один такой идиот)))

Не идиот. Все знать невозможно, знал бы все - жил бы по другому.