прочее Log Parser/Extractor Поиск сервисов в логах.

[KijomBa]

Привет всем!
Набросал скриптик для добычи сервисов с логов.
Python v3, зависимости:
pip install tldextract
Справка:

Usage: extractor.py [-h] [-t [thread_count]] [-u [ADD_URL]] [-s [splitter]] [-d [domain]] [-f [domain_list]] input_dir out_dir

Extract data from logs directory.

positional arguments:

  input_dir          input dir with logs | папка с логами
  out_dir            out_dir dir for extracted data | папка под дату

optional arguments:

  -h, --help         show this help message and exit
  -t [thread_count]  count of workers (default 10) | количество потоков
  -u [ADD_URL]       1 - add url to output string, host:user:pass (default 0 - user:pass) | формат вывода, -u 1 - url:user:pass
  -s [splitter]      splitter for data(default ":") | разделитель
  -d [domain]        extract only specified domain | извлекать только указанный домен -d "facebook.com"
  -f [domain_list]   extract only specified in file domains | извлечь домены указанные в файле, формат строка - домен

Так же в комплекте скрипт для удаления дубликатов:
python3 dublkiller.py input_dir out_dir

Пожелания и баги принимаються.
Надеюсь софт кому нить пригодиться)
А если пригодиться поблагодарить можно ниже)

bc1qngss0dd966q79rg5p286hgmnfhqnemtwps9r9m

ПыСы: так же в поиске работы, Python, C++, пишите.

 

[Entropy]

Nice work , add IP or some kind of ref to the country of the log

 

[KijomBa]

Посмотреть вложение 41749

Nice work , add IP or some kind of ref to the country of the log

Add it directly to output data?
Smth like ip:user:pass ?

 

[Entropy]

Yes, I saw you only storing user,pass and host ,
ip would be great as well
and if you add cookies parsing, this script will be the best available

 

[What So Not]

extractor.py: error: unrecognized arguments: out_dir

 

[KijomBa]

Ok, in next update add ip and cookies
In which format add them?
Cookies have 5 colums on line,and few lines per domain, how to store them?
if string will be ip:user:pass:very_long_cookie_string?
But cookies splits by new lines, so we need to encode them
Maybe ip:user:pass:base64_encoded_string?
or store them in separate files?

Yes, I saw you only storing user,pass and host ,
ip would be great as well
and if you add cookies parsing, this script will be the best available

extractor.py: error: unrecognized arguments: out_dir

Скорее всего что-то с вводом аргументов напутал.
Скинь полный скрин
python3 extractor.py -a -b -c papka_s_logami/ papka_s_datoy/
Или
python3 extractor.py papka_s_logami/ papka_s_datoy/ -a -b -c
input_dir и out_dir не нужно указывать,только сами пути.
Хотя точнее смогу сказать только если полный инпут скинешь.

 

[What So Not]

input_dir и out_dir не нужно указывать,только сами пути.

Видимо в этом и проблема была

 

[What So Not]

Отличный скрипт. Скорость в разы больше аналогов по типу "Stealer Log Searcher" и тд

 

[Entropy]

Ok, in next update add ip and cookies
In which format add them?
Cookies have 5 colums on line,and few lines per domain, how to store them?
if string will be ip:user:pass:very_long_cookie_string?
But cookies splits by new lines, so we need to encode them
Maybe ip:user:pass:base64_encoded_string?
or store them in separate files?


Скорее всего что-то с вводом аргументов напутал.
Скинь полный скрин
python3 extractor.py -a -b -c papka_s_logami/ papka_s_datoy/
Или
python3 extractor.py papka_s_logami/ papka_s_datoy/ -a -b -c
input_dir и out_dir не нужно указывать,только сами пути.
Хотя точнее смогу сказать только если полный инпут скинешь.

Best way to handle it
Store all values in SQLite DB
viewing data in rows will be better than text files also this way we can search by email or host
every new input folder, DB get updated

 

[What So Not]

Отличный скрипт. Скорость в разы больше аналогов по типу "Stealer Log Searcher" и тд

Рано похвалил.
- не работает поиск если домен будет следующего вида "test.test.com"
- порой скрипт тупо встает и все

 

[KijomBa]

Рано похвалил. - не работает поиск если домен будет следующего вида "test.test.com" - порой скрипт тупо встает и все

Так ну куда без багов то надо же сообщения фиксами набить, а с доменами всё просто, они обрезаются до основного домена.
В самом начале, соответственно поиск рабтает по основному домену "domain.com"
Так что это не баг а фича, но конечно поправлю. Если не сложно отпиши в каком формате нужны запросы?:
- domain.com
- sub.domain.com
- domain.com/some/query/params
----- порой скрипт тупо встает и все
Тут пожалуйста детальнее, какой инпут, какие логи.
Пока редлайн тока сделал, могут быть ошибки при других форматах.

 

[What So Not]

Тут пожалуйста детальнее, какой инпут, какие логи.

Ответь в жабе

 

[KijomBa]

Redesign update | Some Bug fixes | New flags added | Geo support
Редизайн | Новые флаги | Поддержка Гео​

Install/Установка
python3 -m pip install -r requirements.txt
Run/Запуск:
python3 profit_maker.py
Changes:
- New flags:
-i 1 - add IP of user to output string "IP:user:pass" | добавить айпи юзера к выходной строке
-g 1 - add GEO/Country code output string "US:user:pass" | добавить гео код/код страны
This flags doesn't work together, IP OR Geo allowed. | эти два флага не работают вместе
-r 1 - remove duplicates in output strings. | удалить дублирующиеся строки
- New design, some cool animations | добавлен новый дизайн и анимации
- Rename project to Profit Maker! | проект переименован в Profit Maker!

Future Updates:​

- Add support for non-Redline logs formats | добавить поддержку других стиллеров
- Cookies support | экспорт кукисов
- Extraction to DB support | экспорт в базу данных
- Config file support | поддержка конфи файла для единичной настройки

As always You can support me with donations | Как всегда рад донатам в подержку проекта
bc1qngss0dd966q79rg5p286hgmnfhqnemtwps9r9m
10$-15$ will be cool)
For any bugs or support PM me or write in Jabber. | Пишите в ЛС тут либо в жабу.
Also searching for job/В поисках работы)
$ Profit comes to You $ Профита Вам $

 

[lambada]

не подскажите пару кк логов за сколько чекает примерно?

 

[Lumma]

Полезная вещь. А у меня в стиллере КСТАТИ все это уже вшито в панель

 

[lambada]

Полезная вещь. А у меня в стиллере КСТАТИ все это уже вшито в панель

старые логи к вам в панель не загрузить

 

[Lumma]

старые логи к вам в панель не загрузить

Смотря сколько логов, 2 млн конечно лучше не загружать, да))

 

[Entropy]

Any Updates?

 

[KijomBa]

Any Updates?

Hi, im return. In 1 week main update, multistealer support and some optimizations.

 

[KijomBa]

Полезная вещь. А у меня в стиллере КСТАТИ все это уже вшито в панель

Товарищ владелец своего стиллера, не поделитесь ли несколькими логами с Вашего стилака, добавлю поддержку в парсер? Раз уж заглянули в мою тему