Проверка списка доменов. Чем?

[badcapper]

Добрый всем день!
Подскажите тулзы с помощью которых можно сделать следующее
1. Прочекать список доменов порядка 700шт на живучесть (существует или не существует домен/поддомен)
2. Прочекать нужные мне директории на наличие, можно с ответом 403-404 (либо если есть веб авторизация показать это)

Ничего вменяемого не нашел на просторах интернета, заранее спасибо!

 

[jorah]

Бро по прочекать на живучесть дофига составляющих.
Домен может существовать - может нет.
Домен может существовать - хостинг может лежать.
Домен может истечь и быть выкупленным хостером.
Я себе когда то писал чекер под XHE проверял размер отдаваемой странички, если меньше n kb, то нах.
Чекать директории помоему nmap умеет.

 

[badcapper]

Бро по прочекать на живучесть дофига составляющих.
Домен может существовать - может нет.
Домен может существовать - хостинг может лежать.
Домен может истечь и быть выкупленным хостером.
Я себе когда то писал чекер под XHE проверял размер отдаваемой странички, если меньше n kb, то нах.
Чекать директории помоему nmap умеет.

Согласен, уточню.
Домены существуют,в большинстве своем все домены это поддомены одного домена на разных айпишниках
nmap щас еще покурю...

 

[jorah]

Так а что ты чекать то хочешь ? Ну по какому критерию ты хочень определять невалид?

 

[badcapper]

Так а что ты чекать то хочешь ? Ну по какому критерию ты хочень определять невалид?

Да хотя бы по пингу элементарно, работает там сайт или нет

 

[jorah]

<?php
$names = file('sites.txt');
foreach ($names as $name) {

if ( gethostbyname($name) != $name ) {
echo "DNS Record found";
}
else {
echo "NO DNS Record found";
}
}
?>

 

[pumba]

import requests

sites = []
with open('domains.txt') as openfileobject:
    for line in openfileobject:
        site = "http://"+line[:-1]
        sites.append(site)

f = open("checked_domains.csv", "w",buffering=512)
f.write("URL;CODE\n")
i=0

for site in sites:
    URL = site
    try:
        r = requests.get(url=URL)
        f.write(site+";"+str(r.status_code)+"\n")
        f.flush()
    except Exception:
        f.write(site+";REFUSED\n")
    print(site)
f.close()

В результате создаст файл в котором в столбик Домен; Код ответа

 

[Randy]

Dirsearch

Скрипт для поиска директорий и файлов на сайте.