Хочу спарсить объявления на одном сайте путем перебора их ID (ибо результаты поиска ограничены) под дальнейшую рассылку пользователям этого же сайта, но встречаюсь с проблемой рейтлимита.
Из того что пробовал:
Из того что я перепробовал следует, что лимит прилетает именно по IP, казалось бы несложная задача должна быть, но нет.
Более менее подходящим вариантом оказался, как я подумал, rotating-tor-http-proxy, но увы, из-за ограничения в 40 цепочек парсинг так займет слишком большое количество времени, даже если постоянно пересоздавать эти 40 цепочек (запускаю 10 конкурентных задач через этот прокси, через 2 минуты снова вижу статус код 403).
Может есть знатоки, как подобное можно реализовать и желательно без больших затрат?
Из того что пробовал:
- Кастомные хедеры
- Использование playwright'а
Из того что я перепробовал следует, что лимит прилетает именно по IP, казалось бы несложная задача должна быть, но нет.
Более менее подходящим вариантом оказался, как я подумал, rotating-tor-http-proxy, но увы, из-за ограничения в 40 цепочек парсинг так займет слишком большое количество времени, даже если постоянно пересоздавать эти 40 цепочек (запускаю 10 конкурентных задач через этот прокси, через 2 минуты снова вижу статус код 403).
Может есть знатоки, как подобное можно реализовать и желательно без больших затрат?
