Как можно обойти Cloudflare Turnstile на сайте?

[матрёшка]

Привет. Пытаюсь обойти Cloudflare Turnstile на одном сайте при парсинге, но даже когда мой краулер успешно решает капчу, эта проверка появляется снова и снова, зацикливая меня на челлендже. В итоге не получается пройти защиту и начать парсить сайт. Прокси тоже использую, но каким-то образом система всё равно палит мой автоматический инструмент. У кого-нибудь есть идеи, как можно это обойти?

 

[HateMe02]

Используй сторонние сервисы под решение этой задачи и все. Передавай максимально возможное контекстное окно этим же инструментам, следи за H2/JA4 как минимум.

Так же бери прокси не за пять рублей.

 

[z1nkov]

Привет, у тебя сейчас проблемы с обходом Cloudflare, потому что твой код определяется как бот. Это происходит из-за того, что он не имитирует TLS/JA3 и HTTP/2 фингерпринты.
Для Python можешь использовать curl_cffi (https://github.com/lexiforest/curl_cffi) это решит проблему.

curl_cffi​

Python binding for curl-impersonate forkvia cffi.
Unlike other pure python http clients like httpx or requests, curl_cffi canimpersonate browsers' TLS/JA3 and HTTP/2 fingerprints. If you are blocked by somewebsite for no obvious reason, you can give curl_cffi a try.
Python 3.9 is the minimum supported version since v0.10.

 

[матрёшка]

Спасибо всем за ваши предложения и советы. Я попробую их и сообщу вам о результатах.

 

[viki4]

Привет. Пытаюсь обойти Cloudflare Turnstile на одном сайте при парсинге, но даже когда мой краулер успешно решает капчу, эта проверка появляется снова и снова, зацикливая меня на челлендже. В итоге не получается пройти защиту и начать парсить сайт. Прокси тоже использую, но каким-то образом система всё равно палит мой автоматический инструмент. У кого-нибудь есть идеи, как можно это обойти?

Попробуй воспользоваться API - шками антидетект браузеров, ADS павер тот же самый, очень простая работа с API + польное эмулирование реального юзера с разными отпечатками. После 1 подписки адса, ты можешь юзать апишку даже без подписки "небольшой абуз", хоть и подписка стоит копейки. Попытайся создавать небольшие задержки и тайминги. Еще можешь тестануть мобильную версию юзер-агента, часто больше пропускают. Ну и конечно прокся с огромным скором не подойдет.

 

[матрёшка]

Привет, у тебя сейчас проблемы с обходом Cloudflare, потому что твой код определяется как бот. Это происходит из-за того, что он не имитирует TLS/JA3 и HTTP/2 фингерпринты.
Для Python можешь использовать curl_cffi (https://github.com/lexiforest/curl_cffi) это решит проблему.

curl_cffi​

Python binding for curl-impersonate forkvia cffi.
Unlike other pure python http clients like httpx or requests, curl_cffi canimpersonate browsers' TLS/JA3 and HTTP/2 fingerprints. If you are blocked by somewebsite for no obvious reason, you can give curl_cffi a try.
Python 3.9 is the minimum supported version since v0.10.

Крутое предложение, бро. Реально помогло, огромное спасибо тебе и всем, кто писал в этой теме. Проблема частая, так что давайте не закрывать тред, пусть все делятся фишками, опытом и кто чем может, другим точно пригодится.

 

[0x1ff]

try pupflare