• XSS.stack #1 – первый литературный журнал от юзеров форума

прочее ищу софт для работы с большим объемом url:login:pass

Отслеживать

D3X

HDD-drive
Пользователь
Регистрация
12.07.2021
Сообщения
37
Реакции
7
добрый день,имею большой объем выгруженных с логов строк url:login:pass (5ккк,~250 гб),очевидно notepad++ и emeditor не справляются с таким объемом,для поиска строк по доменам находил софт на golang и писал свой скрипт на питоне,однако все бессмысленно и софты останавливаются на небольшом объеме
есть ли какой-то софт или способ поиска строк по доменам или разделения по объему в файле такого размера?
 
Попробуй на powershell, у меня он weakpass_3a прожевал, но долго.


Код: 
# Скрипт разобьет 1 большой файл на несколько с удобным количеством строк
# и положит там, где был запущен
$iteration = 0
$lines = 1000000 # количество строк в файле
$file = "C:\my_big_log.txt" # путь к файлу
Get-Content $file -ReadCount $lines | %{$iteration++; $_ | Out-File out_$iteration.txt}
 
p1r0man сказал(а):
Попробуй на powershell, у меня он weakpass_3a прожевал, но долго.


Код: 
# Скрипт разобьет 1 большой файл на несколько с удобным количеством строк
# и положит там, где был запущен
$iteration = 0
$lines = 1000000 # количество строк в файле
$file = "C:\my_big_log.txt" # путь к файлу
Get-Content $file -ReadCount $lines | %{$iteration++; $_ | Out-File out_$iteration.txt}
делит ~10кк строк за 5 минут,на мой файл уйдет около 40 часов :(
 
D3X сказал(а):
делит ~10кк строк за 5 минут,на мой файл уйдет около 40 часов :(
ты спешишь?) 1 раз разделил, а дальше через notepad++ открыл папку как проект и ищи во всех файлах...

Код: 
# простейшая, но доооолгая искалка
$file = "C:\my_big_log.txt" # путь к файлу, который
$lines = 1 # читаем построчно
$needle = "*site.com*" # если в строке есть site.com (звездочки любоые символы до и после подстроки) - суем в файл out.txt
Get-Content $file -ReadCount $lines | %{if ($_ -like $needle) {$_ | Add-Content out.txt}; Write-Progress -Activity "Checking..." -Status "Now processing $_"}
 
D3X сказал(а):
добрый день,имею большой объем выгруженных с логов строк url:login:pass (5ккк,~250 гб),очевидно notepad++ и emeditor не справляются с таким объемом,для поиска строк по доменам находил софт на golang и писал свой скрипт на питоне,однако все бессмысленно и софты останавливаются на небольшом объеме
есть ли какой-то софт или способ поиска строк по доменам или разделения по объему в файле такого размера?
Бро там мусора полно у тебя если 250гб а строк 5ккк, то чистые строки у меня 260гб 2ккк+ строк.
 
D3X сказал(а):
добрый день,имею большой объем выгруженных с логов строк url:login:pass (5ккк,~250 гб),очевидно notepad++ и emeditor не справляются с таким объемом,для поиска строк по доменам находил софт на golang и писал свой скрипт на питоне,однако все бессмысленно и софты останавливаются на небольшом объеме
есть ли какой-то софт или способ поиска строк по доменам или разделения по объему в файле такого размера?
что именно с строками сделать нужно тебе?
 
D3X сказал(а):
добрый день,имею большой объем выгруженных с логов строк url:login:pass (5ккк,~250 гб),очевидно notepad++ и emeditor не справляются с таким объемом,для поиска строк по доменам находил софт на golang и писал свой скрипт на питоне,однако все бессмысленно и софты останавливаются на небольшом объеме
есть ли какой-то софт или способ поиска строк по доменам или разделения по объему в файле такого размера?
Emeditor справляется до 150 гб на мой 32 гб озу. коректнее него будет трудно чт ото найты
 
Ещё можно попробовать начать использовать Gzip/LZ4, в коде один фиг распаковка быстро идет если человек не грузит весь файл (кто так делает?) в память. А если нужен скрипт на фильтрацию - пиши, будет время сделаю.
 
admin


Напишите ответ...
  • Вставить:
Прикрепить файлы
Верх