Как быстро ищут по базам?

[Vodoley]

Здравствуйте.
Не знаю, в том ли разделе создал тему, не нашел подходящего, если не тот - поправьте.
Поиск email:pass по всей 10 гб базе на моем ссд занимает не меньше 30 секунд.
Люди, которые ищут по множеству баз объемом на сотни гигабайт, как это делают? Сколько времени это занимает?
Я бы и дальше думал что это у всех занимает много времени, если бы не наткнулся на эту тему: http://xssforum7mmh3n56inuf2h73hvhnzobi7h2ytb3gvklrfqm7ut3xdnyd.onion/threads/44436/
Этот поисковик по базам действительно находит email:pass, и за короткий промежуток времени. Не дольше 10 секунд. Обычно быстро.
Собственно вопрос, как?
У меня слабое железо не способное быстро искать?
Или, может, потому что я использовал обычный линуксовый grep?
Кажется мне, что он будет искать дольше, так как ищет по всему тексту, включая и пароль, и разделитель ":".
Если это так, что стоит использовать?
Заранее спасибо!

 

[corax]

У них данные загнаны в базу и проиндексированы.

 

[ErenYeager]

Здравствуйте.
Не знаю, в том ли разделе создал тему, не нашел подходящего, если не тот - поправьте.
Поиск email:pass по всей 10 гб базе на моем ссд занимает не меньше 30 секунд.
Люди, которые ищут по множеству баз объемом на сотни гигабайт, как это делают? Сколько времени это занимает?
Я бы и дальше думал что это у всех занимает много времени, если бы не наткнулся на эту тему: http://xssforum7mmh3n56inuf2h73hvhnzobi7h2ytb3gvklrfqm7ut3xdnyd.onion/threads/44436/
Этот поисковик по базам действительно находит email:pass, и за короткий промежуток времени. Не дольше 10 секунд. Обычно быстро.
Собственно вопрос, как?
У меня слабое железо не способное быстро искать?
Или, может, потому что я использовал обычный линуксовый grep?
Кажется мне, что он будет искать дольше, так как ищет по всему тексту, включая и пароль, и разделитель ":".
Если это так, что стоит использовать?
Заранее спасибо!

Насколько мне известно, это зависит от алгоритма который ты используешь для поиска. Какой тебе лучше - незнаю. Но если тебе надо сделать програмку на питоне или еще из чегото, то стоит покопать в этом направлении. Как у них сделано? Предположу что они хранят почта:пароль в базе на сервере (PostgreSQL, SQLite, MySQL) и c помощью внутреннего полнотекстового поиска (а может и лучше что появилось) дергают, то что надо.

 

[gcc]

Насколько мне известно, это зависит от алгоритма который ты используешь для поиска. Какой тебе лучше - незнаю. Но если тебе надо сделать програмку на питоне или еще из чегото, то стоит покопать в этом направлении. Как у них сделано? Предположу что они хранят почта:пароль в базе на сервере (PostgreSQL, SQLite, MySQL) и c помощью внутреннего полнотекстового поиска (а может и лучше что появилось) дергают, то что надо.

Полнотекстовый поиск в этом случае не подойдет и не нужен.
Как было написано выше можно загнать строки в тот же mysql и проиндексировать поля.
Далее при поиске будет выполняться не полное сканирование, а поиск по дереву индекса, что сокращает кол-во проверяемых вариантов кардинально.