Проверка IP ranges на несколько (под)доменов/vhosts на каждом IP - чем лучше?

[zdestuta]

Всем доброго времени суток!

Дано: есть список поддоменов организации, которые указывают на IPs на CloudFlare, но я точно знаю ( и уже парочку нашёл, отдельное спасибо c0d3x ) что их сервисы реально находятся на Amazon причём в us-west регионе, то есть достать IP ranges не проблема вот отсюда + утилитой jq отфильтровать JSON на предмет EC2 в us-west регионе, типа вот так:

wget https://ip-ranges.amazonaws.com/ip-ranges.json
cat ./ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region | startswith("us-west-")) | .ip_prefix' > ./amazon-ec2-us-west-all.txt

Затем можно прям по IP ranges искать httpx конечно же, но за один раз эта утилита может HTTP заголовок "Host:" передать только 1 раз , то есть все ranges надо пробежать (что не быстро) чтобы всего 1 хост "спрятанный за CloudFlare" найти - как-то непродуктивненько...

Может что-то посоветуете простое (конечно же можно и Nuclei взять, но под него шаблон(ы) же писать...) и быстрое как httpx? Или может httpx может, просто я не нашёл такой опции?
Чем вы ищете такие "спрятанные" за CF поддомены массово?

И ещё вопрос насколько "законно" такое сканирование? В смысле не забанят ли хост с которого ведётся такой по сути "поиск". Ведь в "просто поиске" вроде ничего криминального нет?

 

[Sexy Kawai]

Всем доброго времени суток!

Дано: есть список поддоменов организации, которые указывают на IPs на CloudFlare, но я точно знаю ( и уже парочку нашёл, отдельное спасибо c0d3x ) что их сервисы реально находятся на Amazon причём в us-west регионе, то есть достать IP ranges не проблема вот отсюда + утилитой jq отфильтровать JSON на предмет EC2 в us-west регионе, типа вот так:

wget https://ip-ranges.amazonaws.com/ip-ranges.json
cat ./ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region | startswith("us-west-")) | .ip_prefix' > ./amazon-ec2-us-west-all.txt

Затем можно прям по IP ranges искать httpx конечно же, но за один раз эта утилита может HTTP заголовок "Host:" передать только 1 раз , то есть все ranges надо пробежать (что не быстро) чтобы всего 1 хост "спрятанный за CloudFlare" найти - как-то непродуктивненько...

Может что-то посоветуете простое (конечно же можно и Nuclei взять, но под него шаблон(ы) же писать...) и быстрое как httpx? Или может httpx может, просто я не нашёл такой опции?
Чем вы ищете такие "спрятанные" за CF поддомены массово?

И ещё вопрос насколько "законно" такое сканирование? В смысле не забанят ли хост с которого ведётся такой по сути "поиск". Ведь в "просто поиске" вроде ничего криминального нет?

Массовый скан в РФ серый, в еу и юс чернуха. Скан скрипт под свои параметры можешь сделать через chatgpt, лучше и легче всего через питон

 

[zdestuta]

Массовый скан в РФ серый, в еу и юс чернуха.

ой и как же шодан и ценсис то не закроютъ та!... (они же сканят массовее всех поди) не говоря уже о гугле с его ботами-пауками - им то "кто позволил" сайты обходить и краулить?
а если серьёзно, то это же не скан всех хостов и портов напропалую, а коннекты к вполне определённым IP с целью "просмотра" сайта на них, ну и соответственно "сайта на этом IP не оказалось - упс..." этож распространённая ситуация, неа?

 

[Sexy Kawai]

ой и как же шодан и ценсис то не закроютъ та!... (они же сканят массовее всех поди) не говоря уже о гугле с его ботами-пауками - им то "кто позволил" сайты обходить и краулить?
а если серьёзно, то это же не скан всех хостов и портов напропалую, а коннекты к вполне определённым IP с целью "просмотра" сайта на них, ну и соответственно "сайта на этом IP не оказалось - упс..." этож распространённая ситуация, неа?

этож корпораты, они скорее всего в юридически свободной стране расположены

 

[zdestuta]

Скан скрипт под свои параметры можешь сделать через chatgpt, лучше и легче всего через питон

И он конечно же будет шустрее go'шного httpx от projectdiscovery.io и питон конечно же ресурсов меньше сожрёт ага-ага... are you seriously?
Конечно можно свою тулзу писать всякий раз это несложно в общем-то, однако тут задача то типовая - зачем изобретать велосипед?

 

[zdestuta]

этож корпораты, они скорее всего в юридически свободной стране расположены

как мне кажется в интернете просто дофига разных ботов-"пауков" , причём даже не только корпоратных - вон Макс Кульгин если его послушать и почитать так такое впечатление что пол-интернета парсит на заказ - и ничего - "ему можно" , а тут вдруг по нескольким тысячам IP пройтись строго по 80 и 443 портам и проверить "а не тут ли этот vhost?" вдруг пц "криминальный криминал" стал?
если по трафику не грубить мне кажется никто не заметит даже - этож песчинка в море ботов-"пауков" ...

опять же, много раз видел как всякие "мы пришли поговорить с вами о смысле жизни..." по подъездам ходят оффлайн - их конечно кто матом кроет, а кто даже люлей выписать может (но это "локальный бан" считай), но ни разу не видел чтобы за ними полиция приезжала - нарушений то нет - они не вламываются в квартиры, а стучат в дверь или в звонок звонят - это пока вроде легально.

всем вопрос: к кому-нибудь из присутствующих здесь домой (или к провайдеру если с сервака) полицаи хоть раз реально стучались за сканирование (хостов+портов, а то и Nuclei по шаблонам но "только детект", без эксплуатации уязвимостей), за просто сам факт скана спрашивали с кого-нибудь?