Хостинг для парсера

[d0s]

Есть парсер. С локального компа работает отлично. На хосте первые 10-20к тоже быстро пролетают. А дальше скорость падает, и дело не в памяти или процессоре. Такое ощущение что мне замедлили ДНС. Возможен ли тротлинг со стороны хостера? Хостер - Digital Ocean.

Как вообще сканят массово, должен быть абузоустойчивый, который не будет ужимать интернет? Или 99% я криво что-то сделал?

 

[Behemoth]

Есть парсер. С локального компа работает отлично. На хосте первые 10-20к тоже быстро пролетают. А дальше скорость падает, и дело не в памяти или процессоре. Такое ощущение что мне замедлили ДНС. Возможен ли тротлинг со стороны хостера? Хостер - Digital Ocean.

Как вообще сканят массово, должен быть абузоустойчивый, который не будет ужимать интернет? Или 99% я криво что-то сделал?

Почему решил, что замедлили именно ДНС? Может быть просто сработала блокировка на стороне сайта, который парсишь?

Парсят или сканят? В любом случае нужно распределять по прокси или по разным серверам, чтобы сложнее было блокировать по ip. Ну и еще масса способов и механизмов, каждый для своего случая

 

[d0s]

Делаю один запрос к одному домену. Часто пишет temporary failure in name resolution. Пришлось замедлять скрипт. Впринципе сейчас ночью погонял, ошибка скорее всего в коде и она воспроизводится. Просто хотел быть уверен что меня не троттлит хостер. Да и вопрос скорее про механизмы антифрода на строне белого хостинга

 

[BLUA]

Есть парсер. С локального компа работает отлично. На хосте первые 10-20к тоже быстро пролетают. А дальше скорость падает, и дело не в памяти или процессоре. Такое ощущение что мне замедлили ДНС. Возможен ли тротлинг со стороны хостера? Хостер - Digital Ocean.

Как вообще сканят массово, должен быть абузоустойчивый, который не будет ужимать интернет? Или 99% я криво что-то сделал?

На диджитал океан придут быстро после использования того же масскана... На абузоустойчевом могут быть временные проблемы из-за абузы, но её либо снимают, либо меняю ip адрес на выходе и всё, работаешь дальше