Как сделать маску из слитых паролей?

[DrSleep]

Хочу прогнать пару десятков GB баз слитых паролей на "маски". Например

pakistan123
abc123
RAJA@123456
yaali@123
remote@123

Видно что повторяется окончание 123.Часто бывает окончание пароля добавляют 1,!,год рождения, и тд.Кто-то в утекшем пароле меняет все о на 0, меняет прописную первую букву на заглавную и тд.
Как правильно проанализировать такую инфу и получить статистику, к примеру
Окончаний 123 - 100к в базе
Окончание ! - 50к в базе
Начало с заглавной буквы- 200к
Начало ! - 30к и тд
Пайтон по моему неплохо подойдет для этого.

 

[Abrisk]

Регулярные выражения спасут гиганта мысли.)

Все это можно сделать в TextPipe Pro. Кстати, у когонибудь есть версия новее чем 9.7.3? Или может карж?

 

[DrSleep]

Регулярками да можно, но тут нужно более качественно проанализировать.Пока думаю над алгоритмом...Допустим часто в password меняют а на @ в итоге p@ssword уже не прокатит по регулярке.

 

[Kohan]

для

Окончаний 123 - 100к в базе
Окончание ! - 50к в базе
Начало с заглавной буквы- 200к
Начало ! - 30к и тд

регулярки подойдут, а для техник , назовем так, ручной обфускации, которые

часто в password меняют а на @

уже нет

в целом задача длинная и решаться может с разных концов, проще всего смотреть в сторону векторов и каких-нибудь Bag-of-words
по векторам легко сравнить с подготовленными заготовками (увы, вручную), т.е. насколько
'pakistan123' близок к '123',password близок кpassw0rd и p@ssword и т.п.

решением в лоб можно начать с проходу по строке с увеличением количества символов и нахождение получившегося слова в словаре, ну т.е.
p, pa, pas. pass. passw, passwo и т.п., затем отделение таких от тех, где слова не найдутся (т.е. по сути сгенерированных) и работа только с ними

ну а дальше сужать области кластеризации и находить общие элементы

 

[Abrisk]

Неясно сформулирована задача.

В регулярках есть переменные: $1 и так далее, в TextPipe Pro можно использовать подфильтры или передавать данные на обработку в сценарий VBScript/Jscript.

 

[Guron_18]

Хочу прогнать пару десятков GB баз слитых паролей на "маски".

Уже есть готовое решение.

One moment, please...

 

[b3luga]

спасибо за ссылку!