Подсчет кол-ва повторов {Вопрос}

[Xrenovi4]

Собственно решил подсчитать популярность паролей, обрезал почты и уперся в проблему, что не могу найти как посчитать повторяющиеся пароли в большом текстовике.

Есть список паролей в 30гб, но вот как привести это к виду

qwerty 10000000
qazwsx 7390274
.
.
.

Где сперва идет пароль а через пробел или знак табуляции кол-во повторов текстовике.


Возможно есть какие либо варианты, кроме как писать отдельный скрипт?

 

[Aldesa]

Собственно решил подсчитать популярность паролей, обрезал почты и уперся в проблему, что не могу найти как посчитать повторяющиеся пароли в большом текстовике.

Есть список паролей в 30гб, но вот как привести это к виду

qwerty 10000000
qazwsx 7390274
.
.
.

Где сперва идет пароль а через пробел или знак табуляции кол-во повторов текстовике.


Возможно есть какие либо варианты, кроме как писать отдельный скрипт?

подними локально базу mysql, и загони туда всё) Там и подсчитывай, пока добавлять будешь.

 

[Guron_18]

Есть же готовое решение.

http://unifiedlm.com/Download

 

[buket]

в линуксе есть uniq

 

[hex]

нужно на скриптовом языке написать чтение файлов и занесение в бд sqllite или mysql, предварительно сделав там поле с паролем уникальным, тогда дубли будут отсеиваться
sqllite проще в обращении ничего настраивать не нужно