Onionproject.org

Привет. Пытаюсь обойти Cloudflare Turnstile на одном сайте при парсинге, но даже когда мой краулер успешно решает капчу, эта проверка появляется снова и снова, зацикливая меня на челлендже. В итоге не получается пройти защиту и начать парсить сайт. Прокси тоже использую, но каким-то образом система всё равно палит мой автоматический инструмент. У кого-нибудь есть идеи, как можно это обойти?

Используй сторонние сервисы под решение этой задачи и все. Передавай максимально возможное контекстное окно этим же инструментам, следи за H2/JA4 как минимум.

Так же бери прокси не за пять рублей.

Привет, у тебя сейчас проблемы с обходом Cloudflare, потому что твой код определяется как бот. Это происходит из-за того, что он не имитирует TLS/JA3 и HTTP/2 фингерпринты.
Для Python можешь использовать curl_cffi (https://github.com/lexiforest/curl_cffi) это решит проблему.

Спасибо всем за ваши предложения и советы. Я попробую их и сообщу вам о результатах.

Попробуй воспользоваться API - шками антидетект браузеров, ADS павер тот же самый, очень простая работа с API + польное эмулирование реального юзера с разными отпечатками. После 1 подписки адса, ты можешь юзать апишку даже без подписки "небольшой абуз", хоть и подписка стоит копейки. Попытайся создавать небольшие задержки и тайминги. Еще можешь тестануть мобильную версию юзер-агента, часто больше пропускают. Ну и конечно прокся с огромным скором не подойдет.

impulse писал(а): Привет, у тебя сейчас проблемы с обходом Cloudflare, потому что твой код определяется как бот. Это происходит из-за того, что он не имитирует TLS/JA3 и HTTP/2 фингерпринты.
Для Python можешь использовать curl_cffi (https://github.com/lexiforest/curl_cffi) это решит проблему.

Крутое предложение, бро. Реально помогло, огромное спасибо тебе и всем, кто писал в этой теме. Проблема частая, так что давайте не закрывать тред, пусть все делятся фишками, опытом и кто чем может, другим точно пригодится.