В ходе поиска определённых сайтов за CloudFlare на ASN14061 (DigitalOcean) с помощью
Вот примеры такого безобразия:
А вот другой пример - IP отдаёт любой сайт который я указываю в
Разумеется тут я примеры с
Мешает сканированию, дофига false positives.
Что это за хрень? Это проксики такие?
c0d3x , может быть ты знаешь? подскажи плиз что это может быть за хрень такая странная?
Вот скрипт сканирования, IP на входе разумеется пре-фильтрованы masscan на предмет наличия 80 или 443 портов, чтобы httpx не тормозил:
Скрипт тупо на каждый vhost бежит по списку IP и на каждом пытается этот vhost найти, мэтча ответ по наличию определённого пути и заголовка.
Тестовые сайты из моего тестового набора (загонял небольшой range IP и vhost'ы для заранее известных сайтов этого типа за CloudFlare, те что уже знаю где) - детектятся как здрасьте.
httpx , на некоторых IP стал натыкаться на какие-то странные nginx которые server: nginx выдают, но при этом также cf-ray и подобные специфичные для CloudFlare заголовки присутствуют, будто nginx проксирует на cloudflare сайт, причём на любой который в host: указываю - что это такое? кто-то сталкивался?Вот примеры такого безобразия:
curl -k -v https://161.35.121.249/simple/ -H "Host: showmyip.com"curl -k -v https://161.35.121.249/ -H "Host: www.google.com"А вот другой пример - IP отдаёт любой сайт который я указываю в
host:curl -v http://138.197.20.105/simple -H "Host: showmyip.com"curl -v http://138.197.20.105/ -H "Host: google.com"Разумеется тут я примеры с
host: общеизвестными привёл, а не с теми что ищу, но вот странные IP привожу тут именно реальные.Мешает сканированию, дофига false positives.
Что это за хрень? Это проксики такие?
c0d3x , может быть ты знаешь? подскажи плиз что это может быть за хрень такая странная?
Вот скрипт сканирования, IP на входе разумеется пре-фильтрованы masscan на предмет наличия 80 или 443 портов, чтобы httpx не тормозил:
Код:
#!/bin/bash
IN_FILE="$HOME/AS14061_ips_with_80_443.txt"
VHOSTS_FILE="$HOME/1/vhosts_to_find.txt"
START_FROM="myfirstvhostinlist.com"
STARTED=false
LINEN=0
while read VHOST; do
LINEN=$((LINEN+1))
LINES=$(printf "%03d" "$LINEN")
if [[ -n "$START_FROM" && "$STARTED" = false ]]; then
if [[ "$VHOST" == "$START_FROM" ]]; then
STARTED=true
echo "Start: $VHOST Line: $LINES"
else
echo "Skip: $VHOST Line: $LINES"
continue
fi
fi
if [[ "$STARTED" = true ]]; then
echo "Processing: $VHOST Line: $LINES"
httpx2 \
-l "$IN_FILE" \
-H "Host: $VHOST" \
-t 3000 -rl 30000 \
-rstr 100000 \
-timeout 5 -retries 1 \
-ip -sc -title -server -location \
-stats -si 10 \
-silent -nc \
-path "/путь/на/сайте/для/детекта/определённого/типа/сайтов/" -mc 200 -ms "Заголовок сайта - они одинаковы для типа сайтов которые я ищу" \
1>>"$HOME/2/$LINES-$VHOST.txt" \
</dev/null
fi
done < $VHOSTS_FILEТестовые сайты из моего тестового набора (загонял небольшой range IP и vhost'ы для заранее известных сайтов этого типа за CloudFlare, те что уже знаю где) - детектятся как здрасьте.
ну возможно их советы бы и сработали, но свелось бы на нет всё преимущество скорости httpx.
