Как насчет своего аналога shodan/zoomeye/censys/etc?

[invisibiliahospite]

Результаты shodan очень не радуют. По моему запросу на нем в 2-3 раза меньше результатов, чем на zoomeye. Почему такой разброс?
Кто-то пытался поднять некий аналог вышеуказанных сервисов для себя или для коммерции?
Есть метод, как заставить nmap/masscan/zmap искать по favicon или header? Например те же fortinet или все сервера apache? Сейчас хочу выйти на поток и собрать сканер (скрипт, обертка), грузить в него лист айпи, на выходе получить айпи и софт, версию софта на нем.
Если кто-то подскажет инфу, готов для отладки найти таргеты под ваши проекты.

 

[50cent]

Идешь по списку айпи и собираешь баннеры в БД для последующего анализа. Самым простым и эффективным решением будет именно данная утилита. Уже писал такое под себя так что если интересно пиши. Так же есть уже готовый комбайн на базе nmap https://github.com/ivre/ivre

 

[invisibiliahospite]

Zmap/Zgrab2 может что-то такое предложить, но не ясно как все это добро потом парсить под вид айпи - софт - версия софта.
То есть, поиск по banner. На выходе будет тонна инфы. Искать в ней нужный результат вручную, из условно 1кк - кошмар.
Есть какие-то решения в инете?

 

[marmalade]

Да все нормально ищет и шодан по корп подписке избранные скан диапазоны делает по любым портам и фофа и зумай, везде есть свой уникальный материал
Ничего сложного нет в том чтобы написать свой шодан. Смысл, если такой уже существует? Для сервиса у меня берут больше потому что я могу че подсказать, со мной можно пообщаться и вообще человеческий подход. А пилить еще один сервис, синтаксис которого надо будет всем изучать и собирать дорки, пр, какой в этом смысл копировать уже существующее, причем в нескольких вариантах исполнения?

 

[invisibiliahospite]

А пилить еще один сервис, синтаксис которого надо будет всем изучать и собирать дорки, пр, какой в этом смысл копировать уже существующее, причем в нескольких вариантах исполнения?

Да, смысла нет. У фофы и зума выдача специфическая. А у шодана чистые результаты. Там +- одинаково на всех трех.
Ценсус только не смотрел еще.

 

[marmalade]

Да, смысла нет. У фофы и зума выдача специфическая. А у шодана чистые результаты. Там +- одинаково на всех трех.
Ценсус только не смотрел еще.

у ценсуса индекс построен на ip+port, не как в шодане , где только айпи, а в нем уже порты как сущности
ну и там чуть своя специфика, как обычно, кто какие протоколы брутит и на своем скоупе портов + собирает ссл и прочие данные типа хеша фавиконки что ты спрашивал

есть еще quake publicwww да и блин куча еще на самом деле малоизвестных, тем которым твой даже и не имеет перспектив стать, это уже ниша занята и довольно избита

более интересные перспективы - это делать инсайды на пересечении биг даты из разных сфер и индустрий, вот там есть много возможностей, но не понятна глубина и долгоиграемость различных комбинаций, в них же надо вложить деньги на дата саенс как минимум, а еще потом отыграть

 

[Igrmr]

https://masspull.org/data/
результаты сканирований в формате айпи, порт

 

[Sa1ntJohn]

https://masspull.org/data/
результаты сканирований в формате айпи, порт

Это USa или все подряд?

 

[Igrmr]

Все подряд

 

[marmalade]

Кому интересно свой шодан создать - пишите, есть множество наработок