Напарсить 1кк доменов HTTPS

[Unknown]

Требуется напарсить 1кк HTTPS доменов сайтов (действующих), исключая биги (https://google.com / https://yandex.de), доменные зоны должны быть любые, кроме СНГ (.ru / .su и тд). Обычные сайты, главное чтобы они РАБОТАЛИ в данный момент и не были СНГ.

Список должен разбит по текстовикам (1.txt 2.txt 3.txt), в каждом текстовике по 100к доменов. Все текстовики запаковать в zip.

300$ ВТС.

Отклонение от ТЗ - задание не оплачивается.

Работа разовая. Кто успел чьи и тапки. По результату пишите в ПМ.

 

[benladen]

Если актуально ещё. Готов приступить.

 

[Randy]

Напарсить не проблема. Условие расплывчатое. РАБОТАЛИ - домен может (и будет) отдавать заглушку, которая ответ 200, если там index файл по умолчанию висит. А, насколько я понимаю, тебе надо именно файлы с контентом, а не просто листинг живых доменов?

 

[Unknown]

Напарсить не проблема. Условие расплывчатое. РАБОТАЛИ - домен может (и будет) отдавать заглушку, которая ответ 200, если там index файл по умолчанию висит. А, насколько я понимаю, тебе надо именно файлы с контентом, а не просто листинг живых доменов?

Именно. Исполнитель кстати уже работает.

 

[Unknown]

И так и не осилил. Актуально.

 

[rusundead]

Отписал в ЛС, база уже готова практически, некоторое время только потребуется, чтобы привести ее в порядок.
Если готов предоставить мне эту работу - я начну это делать.
Спасибо.