Как и какими методами вы удаляете мусор из словарей?

[TOPCHEK]

У каждого брутера есть своя подборка словарей.
Хотел бы поинтересоваться как и какими методами вы из своих словарей удаляете мусор. Кроме дубликатов.

 

[174region174]

Обычно чищу регуляркой.
Если на винде то не особо большие словари в Notepad++
На линуксе всё быстрее и проще.
Что то тоже регуляркой , а дубли чищу

GitHub - nil0x42/duplicut: Remove duplicates from MASSIVE wordlist, without sorting it (for dictionary-based password cracking)

Remove duplicates from MASSIVE wordlist, without sorting it (for dictionary-based password cracking) - nil0x42/duplicut

github.com

Отличная прога.

 

[TOPCHEK]

Обычно чищу регуляркой.
Если на винде то не особо большие словари в Notepad++
На линуксе всё быстрее и проще.
Что то тоже регуляркой , а дубли чищу

GitHub - nil0x42/duplicut: Remove duplicates from MASSIVE wordlist, without sorting it (for dictionary-based password cracking)

Remove duplicates from MASSIVE wordlist, without sorting it (for dictionary-based password cracking) - nil0x42/duplicut

github.com

Отличная прога.

Ну вот я и создал тему чтобы узнать какие именно регулярки нужны для чистки словарей от мусора.
Как удалять дубликаты я уже и так знаю, поэтому и написал - кроме дубликатов.

 

[174region174]

удалить перед двоеточием
sed -i s/^.*:// input.txt
sed -i 's/.*://' input.txt
удалить после двоеточия
sed -i -r 's/:.+//' input.txt
СОРТИРОВКА В СЛУЧАЙНОМ ПОРЯДКЕ
sort -R input.txt > output.txt

Удаление пробелов в начале строки
sed -i 's/ //g' input.txt
Для удаления ":" в начале строки с помощью команды sed можно использовать следующую команду:
sed -i 's/^://' input.txt

 

[TOPCHEK]

удалить перед двоеточием
sed -i s/^.*:// input.txt
sed -i 's/.*://' input.txt
удалить после двоеточия
sed -i -r 's/:.+//' input.txt
СОРТИРОВКА В СЛУЧАЙНОМ ПОРЯДКЕ
sort -R input.txt > output.txt

Удаление пробелов в начале строки
sed -i 's/ //g' input.txt
Для удаления ":" в начале строки с помощью команды sed можно использовать следующую команду:
sed -i 's/^://' input.txt

Спасибо. Есть ещё информация где найти больше регулярок для удаления мусора?

 

[174region174]

notepad++
Удалить перед:

.+(\:)

 

[174region174]

Спасибо. Есть ещё информация где найти больше регулярок для удаления мусора?

ChatGPT & Midjourney | AI bot

Bot №1 for accessing neural networks: GPT-4, Midjourney, DALL•E 3, Suno Join us: @hiaimediaen Support: @i_abramov_gpt

t.me

ChatGPT & Midjourney | New bot

Bot №1 for accessing neural networks: GPT-4, Midjourney, DALL•E 3, Suno Join us: @hiaimediaen Support: @i_abramov_gpt

t.me

 

[Eleven]

С очень большими словарями при работе с регулярками EmEditor в разы быстрее справится, нежели нотепад

 

[Eleven]

Забыл добавить, что EmEditor также чистит дубли и есть другие полезные функции при работе со словарями. 30-50 гигов словарь обработать для этого редактора ничто. Софт платный, но если нет желания или финансы не позволяют покупать и платить разработчику за труд, трекеры никто не отменял

 

[TOPCHEK]

С очень большими словарями при работе с регулярками EmEditor в разы быстрее справится, нежели нотепад

Что за регулярки используются?

 

[Eleven]

Что за регулярки используются?

Под твои задачи, те что скидывали выше, любые. Я в основном делаю замену, подставляю значения в тексте, удаляю дубли