Это моя первая статья и я не сильный специалист в этой теме, так что отнеситесь с пониманием!
Цель: сравнить выгрузку айпи с двух сервисов - Shodan.io и Fofa.info на примере запроса "SonicWall страна DE".
Shodan - поисковая система, позволяющая пользователям искать различные типы серверов, подключённых к сети, с использованием различных фильтров. Некоторые также описывают её как поисковую систему сервисных баннеров, представляющие собой метаданные, которые сервер отправляет обратно клиенту.
Fofa - это поисковая система киберпространства от компании White Hat, которая помогает исследователям или предприятиям быстро находить киберактивы, проводя картирование киберпространства, например, анализ влияния уязвимостей, статистику распространения приложений, статистику рейтинга популярности приложений и т.д.
Запросы к сервисам и немного цифр:
Дорк для shodan - product:"SonicWALL" country:"DE".
Количество найденных айпи в shodan - 31,998, удалось выгрузить 31,954.
Дорк для fofa - app="SonicWALL" && country="DE".
Количество найденных айпи в fofa - 47,368 совпадений ( 44,417 уникальных IP ), удалось выгрузить 47,368.
После выгрузки необходимо избавиться от повторов.
Сортируем айпи с shodan и сохраняем уникальные значения в файл ips_shodan_uniq_sonic_de.txt:
Bash:
sort sonicwall_shodan_de.txt | uniq > ips_shodan_uniq_sonic_de.txt
Bash:
wc -l ips_shodan_uniq_sonic_de.txtСортируем айпи fofa и сохраняем уникальные значения в файл ips_fofa_uniq_sonic_de.txt ( но перед этим добавлю все результаты выгрузки парсера с fofa в один файл ):
Bash:
sort fofa_all_sonicwall_de.txt | uniq > ips_fofa_uniq_sonic_de.txt
Bash:
wc -l ips_fofa_uniq_sonic_de.txt
С этого делаю вывод, что процент дубликатов примерно одинаков.
Теперь нужно получить количество уникальных айпи shodan, которые не встречаются в fofa:
Этого можно сделать с помощью команды comm (https://linux-faq.ru/page/komanda-comm):
Bash:
comm -23 ips_shodan_uniq_sonic_de.txt ips_fofa_uniq_sonic_de.txt > uniq_ips_shodan.txt
Bash:
wc -l uniq_ips_shodan.txt
Получаем 12,546 айпи, которые есть в shodan, но нет в fofa. Уникальных айпи от общего числа найденных в shodan без дубликатов (от 23,047) ~ 54,44%.
Делаем все то же со вторым файлом, а именно - нужно получить количество уникальных айпи fofa, которые не встречаются в shodan:
Bash:
comm -23 ips_fofa_uniq_sonic_de.txt ips_shodan_uniq_sonic_de.txt > uniq_ips_fofa.txt
Bash:
wc -l uniq_ips_fofa.txt
Получаем 24,428 айпи, которые есть в fofa, но нет в shodan. Уникальных айпи от общего числа найденных в fofa без дубликатов (от 34,929) ~ 69,94%.
И по завершению посмотрим какое количество айпи, найдено в двух сервисах:
Bash:
comm -12 ips_fofa_uniq_sonic_de.txt ips_shodan_uniq_sonic_de.txt > duplicates_ips.txt
Bash:
wc -l duplicates_ips.txt
Получаем 10,501 айпи, которые есть и в fofa, и в shodan. Дубликатов айпи от общего числа найденных в shodan и fofa без дубликатов (от (34,929+23,047)) ~ 18,11% (процент совпадения).
Вывод и коротко о главном:
1й файл - айпи с фофы без повторений. Было с дубликатами 47,368, без дубликатов 34,929. Ушло дубликатов 12,439 ~ 26,26%.
2й файл - айпи с шодан без повторений. Было с дубликатами 31,954, без дубликатов 23,047. Ушло дубликатов 8,907 ~ 27,88%.
3й файл - айпи которые есть в фофе, но нет в шодане. Уникальных айпи от общего числа найденных в fofa без дубликатов (24,428 из 34,929) ~ 69,94%.
4й файл - айпи которые есть в шодане, но нет в фофе. Уникальных айпи от общего числа найденных в shodan без дубликатов (12,546 из 23,047) ~ 54,44%.
5й файл - айпи которые есть и в фофе, и в шодане. Дубликатов айпи от общего числа найденных в shodan и fofa без дубликатов (10,501 из (34,929+23,047)) ~ 18,11% (процент совпадения).
Статья была написана для форума xss.pro
Спасибо за внимание!
Спасибо за внимание!
Последнее редактирование:
