[FREE SOURCE] ULP PARSER

[egorminus]

Info:

• Написан на чистом питоне
• Ищет .txt и текстовые файлы .zip
• Добавлен фильтр размера файла
• Фильтр название файла, сейчас ищет все файлы со словом "pass"
• Удаление строк с UNKNOWN и [NOT_SAVED]
• Если в блоке есть пропуск, URl LOG PASS он пропускает блок
• Поддерживает большинство форматов стиллеров а именно с такими переменными
  URL - {'url', 'link', 'hostname', 'host'}
  LOGIN - {'user', 'login', 'username'}
  PASSWORD - {'pass', 'password', 'value'}
  User - USER, pass - Pass - разницы не имеет
• Не использует ОЗУ для работы, а дисковое пространство
• Высокая скорость работы
• Многопоточность

Tests:

На тест поставил папку с логами 1.78ТБ где были взяты всевозможные форматы ULP, включая старые.
Времени ушло 2.5 часа собрал 40.749.116 строк - все пароли которые были в папке, тест был на SSD.

Если вы знаете другие форматы, которые не поддерживает код, пришлите добавлю
Если нашли баг, сообщите будет исправлен
Предложение по улучшению тоже пишите



Download: http://**************************************************************/d/2R9Fk3cGwLTO02mrnlYkFf

 

[Stagex]

Как говорится работы ещё непочатый край )

 

[egorminus]

Как говорится работы ещё непочатый край )

Да ты прав, если не сложно пришли папку которую парсил, сделаю выводу для кода добавлю новые форматы или пойму почему такая разница

 

[Stagex]

Да ты прав, если не сложно пришли папку которую парсил, сделаю выводу для кода добавлю новые форматы или пойму почему такая разница

ну там логи с WWS(WorldWideStealer - клон шторм китти), позже скину Password.txt

 

[egorminus]

UPDATE #
Download: http://**************************************************************/d/2R9Fk3cGwLTO02mrnlYkFf
Формат логов был Vidar, Lumma, redline, Rise, Rahd,, Meta, Raccoon

Как говорится работы ещё непочатый край )

Парсер который ты использовал
- он не поддерживает строки c android: и устройств
- он не предназначен для большого кол-во файлов, даже 100 гб не потянет, крашится, потому что использует ОЗУ
- да он чекает .rar .7zip, мой код только .zip, думаю в скором времени будет добавлено другие форматы

 

[Stagex]

UPDATE #
Download: http://**************************************************************/d/2R9Fk3cGwLTO02mrnlYkFf
Формат логов был Vidar, Lumma, redline, Rise, Rahd,, Meta, Raccoon

Парсер который ты использовал
- он не поддерживает строки c android: и устройств
- он не предназначен для большого кол-во файлов, даже 100 гб не потянет, крашится, потому что использует ОЗУ
- да он чекает .rar .7zip, мой код только .zip, думаю в скором времени будет добавлено другие форматы

xD ну так строки с андроид устройств это ж мусор ненужный, естественно они в пропуске и 127.0. и ... дохрена мусора в общем в логах на самом деле.

 

[egorminus]

xD ну так строки с андроид устройств это ж мусор ненужный, естественно они в пропуске и 127.0. и ... дохрена мусора в общем в логах на самом деле.

Смотря как использовать, строки android: для создание списков брута, для доступов, казиношки, соц.сети. 127.0 локалки тоже используются для брута доступа, тут же речь не для чего можно использовать их а что если есть полные строки без UNKNOWN или Пропусков он их парсит

 

[Stagex]

Смотря как использовать, строки android: для создание списков брута, для доступов, казиношки, соц.сети. 127.0 локалки тоже используются для брута доступа, тут же речь не для чего можно использовать их а что если есть полные строки без UNKNOWN или Пропусков он их парсит

Ну хз, для парса всех mail\login:pass из логов есть другие решения, а для качественного ulp файла я считаю это мусор(возможно я ошибаюсь, но...). И по поводу памяти - на 45Гб. логов было затрачено 1.5Гб. опер. памяти с учетом того, что сохранение с любым сепаратором требует обработки данных в памяти для быстроты процесса. Крашится возможно нормалайзер в утилитах при загрузке файла превышающего размер оперативной памяти\2, т.к. там не реализована обработка чанками, пока не реализова.