Cómo cambiar el agente de usuario para solucionar Cloudflare

Por qué el Agente de Usuario importa para pasar Cloudflare

¿Qué es un Agente de Usuario?

Un Agente de Usuario (UA) es una cadena de texto enviada por tu navegador o cliente para identificarse ante el servidor. Normalmente incluye detalles como el nombre del navegador, la versión, el sistema operativo y el tipo de dispositivo. Por ejemplo:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36.

Cloudflare analiza esta cadena para detectar bots. Si tu UA coincide con herramientas de automatización conocidas (p. ej., Python-Requests o HeadlessChrome), activarás los sistemas anti-bot de Cloudflare.

Paso a paso: Cambiando tu Agente de Usuario

1. Identifica el Agente de Usuario Esperado por el Objetivo

Antes de personalizarlo, comprueba qué Agentes de Usuario utilizan los usuarios reales del sitio. Herramientas como WhatIsMyBrowser o las herramientas para desarrolladores del navegador (pestaña Red > Cabeceras) pueden ayudar. Por ejemplo, si el sitio es popular entre los usuarios de Chrome, imita su UA.

2. Establece un Agente de Usuario Personalizado en tu Código

Aquí te indicamos cómo modificar el UA en lenguajes de programación populares:

Python (Librería Requests)

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

response = requests.get('https://example.com', headers=headers)

JavaScript (Node.js con Axios)

const axios = require('axios');

axios.get('https://example.com', {
  headers: {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
  }
});

Usando Navegadores Headless (Puppeteer)

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36');
  await page.goto('https://example.com');
})();

3. Rota los Agentes de Usuario

Usar el mismo UA repetidamente puede seguir marcándote. Rota los UAs de una lista predefinida para imitar a usuarios diversos. Herramientas como Fake UserAgent simplifican esto:

from fake_useragent import UserAgent
import requests

ua = UserAgent()
headers = {'User-Agent': ua.random}
response = requests.get('https://example.com', headers=headers)

Errores comunes que hay que evitar

1. Usar Agentes de Usuario obsoletos
   Cloudflare mantiene listas de UAs sospechosos. Evita cadenas vinculadas a versiones antiguas del navegador (p. ej., Chrome/58.0.3029.110 de 2017).

2. Ignorar las huellas dactilares de los navegadores sin cabeza
   Incluso con un UA válido, los navegadores sin cabeza filtran señales de automatización (p. ej., plugins que faltan como navigator.plugins). Utiliza plugins sigilosos como puppeteer-extra-plugin-stealth.

3. Olvidar la rotación de IP
   Combina la rotación de UA con proxies residenciales para evitar bloqueos basados en IP. Los proxies estáticos o persistentes funcionan mejor para mantener la coherencia de la sesión.

4. Combinar con la huella dactilar TLS
   Cloudflare comprueba los patrones de enlace de manos TLS. Las bibliotecas como curl_cffi (Python) o tls-client (JavaScript) imitan las huellas dactilares TLS de los navegadores reales, reduciendo el riesgo de detección.

Consideraciones finales

Cambiar tu Agente de Usuario es una forma sencilla pero potente de eludir Cloudflare, pero no es infalible. Combínalo con la rotación de IP, la huella dactilar TLS y las herramientas antidetección para obtener resultados sólidos.

¡Feliz scraping! 🤖