Статья Сравнение лучших инструментов подсчета поддоменов

[JeanZ]

Инструменты подсчета поддоменов

Переведено для XSS
Материал - https://blog.blacklanternsecurity.com/p/subdomain-enumeration-tool-face-off

Какой лучший инструмент подсчета поддоменов в 2022 году?
Цель этого противостояния — ответить на этот вопрос, ранжируя лучшие инструменты подсчета поддоменов на основе:

1) Количестве поддоменов, которые они могут найти

2) Времени, необходимое для их поиска

Тестируемые инструменты:

• Amass
• Subfinder
• TheHarvester
• Sublist3r
• Lepus
• OneForAll
• Spiderfoot
• BBOT
  
  Если вы ветеран OSINT, вы, вероятно, знакомы с большинством инструментов из этого списка — за исключением, может быть, BBOT.
  BBOT — это новый инструмент OSINT, вдохновленный Spiderfoot, написанный здесь, в Black Lantern Security, и выпущенный чуть более месяца назад. Как и Spiderfoot, BBOT не является исключительно инструментом перечисления поддоменов, но мы разработали его с учетом перечисления поддоменов, поэтому мы выбрали перечисление поддоменов для своего первого реального теста. Тест перечисления поддоменов кажется хорошим «крещением», которое либо высмеивает, либо (надеюсь) подтверждает наши усилия по инструменту.
  
  
  Поделившись результатами, мы рассмотрим точную команду, которую мы запускали для каждого инструмента, и подробности о любых обнаруженных уникальных поддоменах.
  
  
  Правила:
  Цель: tesla.com
  
  • Активное перечисление разрешено (HTTP/SSL)
  • Только бесплатные API. В этом тесте не будут использоваться платные API.
    • Цель этого правила — оценить эффективность инструмента при сборе информации из БЕСПЛАТНЫХ и ОТКРЫТЫХ ИСТОЧНИКОВ без какой-либо утомительной/дорогой предварительной настройки.
  • Подстановочные знаки и неразрешенные субдомены не учитываются. Субдомены должны иметь хотя бы одну действующую DNS-запись типа A, AAAA, MX, TXT, NS, SOA, SRV или CNAME. Вывод каждого инструмента будет очищаться одним и тем же методом.
  • Брутфорс DNS разрешен. Однако все инструменты будут настроены на использование одного и того же базового списка слов поддоменов. Это предназначено для того, чтобы продемонстрировать уникальные возможности каждого инструмента, а не только его качество списка слов. Кроме того, поскольку время выполнения является фактором, влияющим на результаты, это помогает сделать длительность сканирования более сопоставимой.e.
  • Только настройки по умолчанию — никаких странных изменений конфигурации.
    • За исключением 1) обычного грубого списка слов и 2) увеличения количества потоков (потому что у нас невероятно быстрый интернет), мы будем использовать настройки инструментов по умолчанию. Значения инструментов по умолчанию всегда должны быть разумными, и мы не будем возиться с ними, поскольку уделение большего внимания настройке одного инструмента может дать ему несправедливое преимущество перед другими.

Сэтап:
Тесты будут выполняться на скромной виртуальной машине Linode со следующими характеристиками:

• 2 выделенных ядра процессора
• 4GB RAM
• Загрузка ~3000 Мбит/с / Загрузка ~2600 Мбит/с по данным speedtest.net
  

Каждый инструмент будет запускаться отдельно, с достаточной паузой между запусками для учета ограничения скорости и т. д.

Результаты:

Анализ:
Истинный победитель этого теста может различаться в зависимости от того, что важнее для вашего процесса OSINT: скорость или тщательность. Например, BBOT нашел наибольшее количество поддоменов, но Subfinder нашел 90% того, что сделал BBOT, и примерно в десятую часть времени.

BBOT использует рекурсивную модель, аналогичную Spiderfoot, что является одной из причин его более высокой доходности поддоменов и, следовательно, более высокого времени выполнения. Но даже с учетом более высокого времени выполнения он значительно превосходит Spiderfoot в целях перечисления субдоменов, как видно из обеих приведенных выше диаграмм. В нашем тестировании мы позволили Spiderfoot работать в течение 48 часов, после чего были вынуждены отменить его.

Одна интересная точка данных, которую мы включили ниже, — это количество уникальных субдоменов, найденных каждым инструментом. Это число рассчитывается путем сравнения выходных данных каждого инструмента с комбинированным выходным сигналом всех других инструментов и выяснения, какие поддомены он нашел, чего не нашел ни один из других.

Модуль massdns BBOT, который сочетает рекурсивную методологию с умными мутациями, гарантирует, что BBOT претендует на наибольшее количество уникальных субдоменов. Amass нашел несколько благодаря своему уникальному модулю Maltiverse, а функция Lepus Markov Chain/Permutation также смогла обнаружить несколько.

Подробности:

# Note: Each tool's default resolver thread count was multiplied by 10 bbot -t tesla.com -f subdomain-enum -m httpx -c modules.massdns.max_resolvers=5000
https://github.com/blacklanternsecurity/bbot
Version: v1.0.3.736 (04 October 2022)

Subdomains: 409

Runtime: 12 minutes 19 seconds

Unique subdomains: 13





# Примечание: theharvester не позволяет указать пользовательский список слов, поэтому его словари были изменены вручную. # theharvester не позволяет увеличить количество потоков theHarvester.py --domain tesla.com --dns-lookup --dns-brute --source anubis,baidu,bevigil,binaryedge,bing,bingapi,bufferoverun,censys,certspotter,crtsh,dnsdumpster,duckduckgo,fullhunt,github-code,hackertarget,hunter,intelx,omnisint,otx,pentesttools,projectdiscovery,qwant,rapiddns,rocketreach,securityTrails,sublist3r,threatcrowd,threatminer,urlscan,virustotal,yahoo,zoomeye
https://github.com/laramies/theHarvester
Version: v4.2.0 (13 August 2022)

Subdomains: 376

Runtime: 7 minutes 10 seconds

Unique subdomains: None

# Примечание: subfinder не поддерживает перебор DNS. subfinder -domain tesla.com -all -t 100
https://github.com/projectdiscovery/subfinder
Version: v2.5.3 (03 August 2022)

Subdomains: 373

Runtime: 1 minute 17 seconds

Unique subdomains: None

# Примечание. Amass не позволяет увеличить количество потоков. amass enum -d tesla.com -active -brute -w subdomains-top1million-5000.txt
https://github.com/OWASP/Amass
Version: v3.20.0 (22 September 2022)

Subdomains: 342

Runtime: 8 minutes 42 seconds

Unique subdomains: 5

# Примечание: oneforall.py не позволяет указать собственный список слов, поэтому его списки слов были изменены вручную. # oneforall.py не допускал увеличения количества потоков oneforall.py --target tesla.com run
https://github.com/shmilylty/OneForAll
Version: v0.4.5 (10 July 2022)

Subdomains: 312

Runtime: 2 minutes 4 seconds

Unique subdomains: 1

# Примечание. Количество потоков распознавателя по умолчанию для каждого инструмента было умножено на 10. lepus.py tesla.com --permutate --reverse --ripe --portscan --markovify -w subdomains-top1million-5000.txt --threads 1000
https://github.com/gfek/Lepus
Version: git clone (05 October 2022)

Subdomains: 171

Runtime: 15 minutes 59 seconds

Unique subdomains:





# Примечание. Модуль dnsbrute Spiderfoot не поддерживает пользовательские списки слов, поэтому его списки слов были изменены вручную. # Интерфейс командной строки Spiderfoot не поддерживает увеличение количества потоков sf.py -t INTERNET_NAME -n -s tesla.com
https://github.com/smicallef/spiderfoot
Version: v4.0 (07 April 2022)

Subdomains: 129

Runtime: 48+ hours (cancelled)

Unique subdomains: None

# Примечание: Количество потоков распознавателя по умолчанию для каждого инструмента было умножено на 10. # Sublist3r не поддерживает пользовательские списки слов, поэтому его списки слов были изменены вручную. sublist3r.py --domain tesla.com --bruteforce --threads 300
https://github.com/aboul3la/Sublist3r
Version: git clone (04 October 2022)

Subdomains: 46

Runtime: 3 minutes 39 seconds

Unique subdomains: None

Заключение:
Сравнение этих инструментов OSINT было забавным и познавательным упражнением, и мы надеемся, что вы найдете результаты полезными. Лучшими инструментами подсчета поддоменов по стандартам этого теста являются:

• BBOT — БОЛЬШИНСТВО ПОДДОМЕНОВ
• SUBFINDER — САМЫЙ БЫСТРЫЙ
• THEHARVESTER — Второе место в обеих категориях
  
  

 

[scoring0]

Считаю, что нет пары топовых сканеров в обзоре:
knockpy и anubis

 

[delphinus]

спасибо за анализ

 

[Skiddie]

Какие из инструментов определяют IP поддоменов?

 

[Desoxyn]

Какие из инструментов определяют IP поддоменов?

Вроде у всех должен быть такой функционал ))) Надо будет тоже потестить.
sub3suite определяет. Если есть апи кеи шодана, ценсиса, етк - советую добавлять (вообще старайтесь использовать даже бесплатные апи, пусть и с лимитами, для любых инструментов)

 

[l0rdjho23n]

Я предпочитаю Amass, только проблема с ним в том, что он снижает скорость интернета иногда.