Como Resolver Impressão Digital TLS/JA3 em Web Scraping com curl_cffi
Adélia Cruz
Neural Network Developer
Está com dificuldades para lidar com medidas anti-bot durante a coleta de dados de sites? curl_cffi, uma biblioteca Python avançada que envolve a ferramenta cURL, pode ajudar a contornar essas barreiras de forma eficaz. Imitando o comportamento do navegador e aproveitando os recursos do cURL, curl_cffi aumenta a capacidade do seu coletor de dados de evitar detecção e executar sem problemas. Neste guia, exploraremos como curl_cffi funciona, como usá-lo para várias tarefas e abordaremos suas limitações. Também discutiremos soluções potenciais para superar essas limitações.
O que é curl_cffi?
curl_cffi é uma biblioteca Python projetada para solicitações de rede, semelhante a bibliotecas como requests e httpx. No entanto, ao contrário dessas bibliotecas, curl_cffi pode simular impressões digitais TLS/JA3 e HTTP/2 do navegador. curl-impersonate é uma ferramenta de linha de comando que pode simular quatro navegadores principais e realizar apertos de mão TLS e HTTP como um navegador real. curl_cffi envolve curl-impersonate em uma biblioteca Python usando cffi.
Está com dificuldades com a falha repetida em resolver completamente o captcha irritante?
Descubra a resolução automática perfeita de captcha com a tecnologia AI-powered Auto Web Unblock da CapSolver!
Reclame seu Código de bônus para as melhores soluções de captcha; CapSolver: WEBS. Após resgatá-lo, você receberá um bônus extra de 5% após cada recarga, Ilimitado
O que é impressão digital TLS/JA3?
Hoje, a maioria dos sites usa HTTPS. Para estabelecer uma conexão HTTPS, um handshake TLS ocorre entre o servidor e o cliente, trocando informações como versões TLS suportadas e algoritmos de criptografia. Diferentes clientes têm características variáveis, e esses detalhes são frequentemente estáveis, permitindo que os servidores identifiquem solicitações como provenientes de navegadores de usuários típicos ou scripts automatizados. JA3 é um algoritmo comum usado para gerar impressões digitais TLS. Ele funciona concatenando essas características e calculando uma hash MD5.
Usando curl_cffi
O uso do curl_cffi é bastante semelhante ao requests. Aqui está como você pode usar o requests para obter a impressão digital JA3:
pythonCopy
import requests
url = "https://tls.browserleaks.com/json"
r = requests.get(url)
print(r.json())
Se você fizer solicitações repetidas, verá que seu hash JA3 permanece o mesmo. No entanto, a partir do Chrome versão 110, a ordem da extensão TLS ClientHello é randomizada, tornando mais fácil para os desenvolvedores de sites bloquear bibliotecas como requests com base em impressões digitais JA3. Se suas solicitações mostrarem consistentemente a mesma impressão digital JA3, elas podem ser identificadas como provenientes de um único usuário, aumentando a probabilidade de serem sinalizadas como um bot.
Aqui está como usar curl_cffi para simular uma impressão digital JA3 real:
pythonCopy
from curl_cffi import requests
url = "https://tls.browserleaks.com/json"
r = requests.get(url, impersonate="chrome124")
print(r.json())
O parâmetro impersonate permite especificar o navegador e a versão a serem simulados. Os navegadores suportados incluem Chrome, Chrome Android, Edge e Safari, com versões continuamente atualizadas. Para obter informações detalhadas, consulte o repositório GitHub curl_cffi. Com curl_cffi, a impressão digital JA3 será alinhada com a de um navegador real e, a partir do Chrome 110, a impressão digital JA3 mudará a cada solicitação:
jsonCopy
{
"user_agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36",
"ja3_hash": "c97c8dac4ca1de968fe230de54f3e0f3",
"ja3_text": "771,4865-4866-4867-49195-49199-49196-49200-52393-52392-49171-49172-156-157-47-53,16-10-27-18-5-51-23-17513-45-35-43-13-65281-0-11-65037,25497-29-23-24,0",
"ja3n_hash": "4c9ce26028c11d7544da00d3f7e4f45c",
"ja3n_text": "771,4865-4866-4867-49195-49199-49196-49200-52393-52392-49171-49172-156-157-47-53,0-5-10-11-13-16-18-23-27-35-43-45-51-17513-65037-65281,25497-29-23-24,0",
"akamai_hash": "52d84b11737d980aef856699f885ca86",
"akamai_text": "1:65536;2:0;4:6291456;6:262144|15663105|0|m,a,s,p"
}
Abordando as Limitações do curl_cffi
Embora o curl_cffi possa simular impressões digitais JA3 reais e potencialmente evitar desafios e bloqueios de bots, pode não ser sempre suficiente. Muitos sites implementam mecanismos avançados de proteção contra bots, como captcha, reCaptcha, captcha, Cloudflare Turnstile, captcha e captcha WAF. Esses sistemas usam imagens complexas e desafios JavaScript difíceis de ler para diferenciar humanos de bots. Às vezes, mesmo com uma impressão digital JA3 genuína e aleatória, contornar esses desafios é inevitável.
Se você encontrar desafios CAPTCHA, independentemente da biblioteca de solicitação que você usar, eles podem ser inevitáveis. No entanto, não há necessidade de se preocupar. O CapSolver fornece uma solução para esses problemas. O CapSolver usa tecnologia de desbloqueio da web automatizada com base em IA para resolver vários desafios de bots em segundos. Seja lidando com imagens ou problemas complexos, o CapSolver pode lidar com isso de forma eficiente. Se a solução falhar, você não incorrerá em nenhum custo.
O CapSolver também oferece uma extensão de navegador que resolve automaticamente CAPTCHAs durante a raspagem de dados com o Selenium. Além disso, uma solução de API está disponível para resolver CAPTCHAs e obter tokens em frameworks como o Scrapy. Tudo pode ser feito em apenas alguns segundos. Para mais detalhes, consulte a documentação do CapSolver.
Conclusão
Ao integrar o curl_cffi em sua configuração de raspagem da Web, você pode efetivamente imitar o comportamento real do navegador para superar os desafios de impressão digital TLS/JA3. Embora o curl_cffi forneça ferramentas robustas para lidar com esses desafios, sistemas avançados de CAPTCHA e detecção de bots ainda representam obstáculos significativos. O CapSolver oferece uma solução complementar para lidar com esses desafios CAPTCHA perfeitamente, garantindo que suas atividades de raspagem funcionem sem problemas.
