парсер Асинхронный веб парсер бесплатных прокси (http, socks5)

[sesh]

Написал небольшой, но полезный софт, хочу поделиться с форумом.

Как работает программа​

1. Создаются объекты сайтов, которые будут парситься
2. Парсятся сайты и готовые прокси собираются в массив для их проверки на работоспособность, скорость подключения и т.д.
3. Асинхронно посылаем запросы через прокси из готового массива, используя check_url (куда посылаем запросы), headers и timeout (макс. время ожидания ответа) из конфига
4. После того как все запросы выполнились, на выходе имеем 2 массива с http и socks5 прокси
5. Проходимся по этим массивами и записываем их в текстовые файлы

Запуск​

Для запуска программы надо сначала выполнить 2 шага:

1. Установить в виртуальную среду зависимости из requirements.txt pip install -r requirements.txt
2. Добавить config.yaml и задать в нём значения для check_url, headers, timeout (пример конфига прилагается)

Далее выполняем python main.py и получаем на выходе http_proxies.txt и socks5_proxies.txt

Заметки​

Если есть какие-то недочёты, замечания или предложения, можем пообщаться в комментах.

P.S. когда будет настроение + свободное время, добавлю ещё сайты для парсинга (код впринципе легко поддерживается, так что и вам самим не составит большого труда это сделать, если есть необходимость)

 

[Ellymas]

thank you so much

 

[iSPAWN]

свободное время, добавлю ещё сайты для парсинга

так сейчас же вроде и так сайты парсяться?

Парсятся сайты

 

[sesh]

так сейчас же вроде и так сайты парсяться?

да, имеется ввиду впридачу тем двум, которые уже есть в коде.

 

[danialidir]

Написал небольшой, но полезный софт, хочу поделиться с форумом.

Как работает программа​

1. Создаются объекты сайтов, которые будут парситься
2. Парсятся сайты и готовые прокси собираются в массив для их проверки на работоспособность, скорость подключения и т.д.
3. Асинхронно посылаем запросы через прокси из готового массива, используя check_url (куда посылаем запросы), headers и timeout (макс. время ожидания ответа) из конфига
4. После того как все запросы выполнились, на выходе имеем 2 массива с http и socks5 прокси
5. Проходимся по этим массивами и записываем их в текстовые файлы

Запуск​

Для запуска программы надо сначала выполнить 2 шага:

1. Установить в виртуальную среду зависимости из requirements.txt pip install -r requirements.txt
2. Добавить config.yaml и задать в нём значения для check_url, headers, timeout (пример конфига прилагается)

Далее выполняем python main.py и получаем на выходе http_proxies.txt и socks5_proxies.txt

Заметки​

Если есть какие-то недочёты, замечания или предложения, можем пообщаться в комментах.

P.S. когда будет настроение + свободное время, добавлю ещё сайты для парсинга (код впринципе легко поддерживается, так что и вам самим не составит большого труда это сделать, если есть необходимость)

Ссылки.txt - AnonFiles

anonfiles.com

Вот еще ссылочки откуда можно парсить прокси)
Софт у меня Proxy-Toolkit-AIO_2.1.0_Win

 

[Nouse04]

тоесть таким образом можно добыть на шару прокси?

 

[sesh]

тоесть таким образом можно добыть на шару прокси?

Да, только надо учитывать что они публичные, то есть за надежность/скорость много говорить не приходится).