Como Mudar o User Agent para Resolver o Cloudflare

Por que o User Agent Importa para burlar o Cloudflare

O que é um User Agent?

Um User Agent (UA) é uma string enviada pelo seu navegador ou cliente para se identificar ao servidor. Normalmente inclui detalhes como o nome do navegador, versão, sistema operacional e tipo de dispositivo. Por exemplo:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36.

O Cloudflare analisa esta string para detectar bots. Se seu UA corresponder a ferramentas de automação conhecidas (por exemplo, Python-Requests ou HeadlessChrome), você acionará os sistemas anti-bot do Cloudflare.

Passo a Passo: Alterando seu User Agent

1. Identifique o User Agent Esperado pelo Alvo

Antes de personalizar, verifique quais User Agents os usuários reais do site estão usando. Ferramentas como WhatIsMyBrowser ou as ferramentas de desenvolvedor do navegador (guia Rede > Cabeçalhos) podem ajudar. Por exemplo, se o site é popular entre usuários do Chrome, imite o UA deles.

2. Defina um User Agent Personalizado em seu Código

Veja como modificar o UA em linguagens de programação populares:

Python (Biblioteca Requests)

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

response = requests.get('https://example.com', headers=headers)

JavaScript (Node.js com Axios)

const axios = require('axios');

axios.get('https://example.com', {
  headers: {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
  }
});

Usando Navegadores Headless (Puppeteer)

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36');
  await page.goto('https://example.com');
})();

3. Roteie User Agents

Usar o mesmo UA repetidamente ainda pode te sinalizar. Roteie UAs a partir de uma lista predefinida para imitar usuários diversos. Ferramentas como Fake UserAgent simplificam isso:

from fake_useragent import UserAgent
import requests

ua = UserAgent()
headers = {'User-Agent': ua.random}
response = requests.get('https://example.com', headers=headers)

Erros Comuns a Evitar

1. Usar User Agents Obsoletos
   O Cloudflare mantém listas de UAs suspeitos. Evite strings vinculadas a versões antigas do navegador (por exemplo, Chrome/58.0.3029.110 de 2017).

2. Ignorar Impressões Digitais de Navegadores Headless
   Mesmo com um UA válido, os navegadores headless vazam sinais de automação (por exemplo, plugins ausentes como navigator.plugins). Use plugins furtivos como puppeteer-extra-plugin-stealth.

3. Esquecer a Rotação de IP
   Combine a rotação de UA com proxies residenciais para evitar bloqueios baseados em IP. Proxies estáticos ou sticky funcionam melhor para manter a consistência da sessão.

4. Combine com Impressão Digital TLS
   O Cloudflare verifica padrões de handshake TLS. Bibliotecas como curl_cffi (Python) ou tls-client (JavaScript) imitam impressões digitais TLS de navegadores reais, reduzindo o risco de detecção.

Considerações Finais

Alterar seu User Agent é uma maneira simples, porém poderosa, de contornar o Cloudflare, mas não é infalível. Combine-o com rotação de IP, impressão digital TLS e ferramentas antidetecção para resultados robustos.

Feliz scraping! 🤖