Cambiar el Agente de Usuario en Selenium | Pasos y Mejores Prácticas

Cambiar el agente de usuario en Selenium es un paso crucial para muchas tareas de raspado web. Ayuda a disfrazar el script de automatización como un navegador regular, evitando así la detección por parte de los sitios web. Esta guía le mostrará los pasos para cambiar el agente de usuario de Google Chrome en Selenium y proporcionará buenas prácticas para garantizar que sus tareas de raspado web funcionen sin problemas.

Índice

1. Entendiendo el agente de usuario de Selenium
2. Agente de usuario predeterminado en Selenium
3. ¿Por qué cambiar el agente de usuario?
   a. Cambiar el agente de usuario en Selenium de Google Chrome
   b. Cambiar el agente de usuario en Selenium de Firefox
4. Buenas prácticas para un acceso más fluido a los sitios web
5. Conclusión

Entendiendo el agente de usuario de Selenium

La cadena del agente de usuario es una parte crucial de los encabezados HTTP que desempeña un papel importante en la comunicación entre los navegadores y los servidores web. Proporciona información específica sobre el navegador, sistema operativo y dispositivo que se está utilizando para enviar la solicitud. Aquí hay un ejemplo de una cadena de agente de usuario típica:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36

Esta cadena indica que la solicitud proviene de un navegador Chrome que funciona en un sistema operativo Windows.

Sin embargo, cuando se utiliza Selenium para la automatización de web, la cadena del agente de usuario predeterminado puede revelar que las solicitudes se realizan mediante un script automatizado. Los sitios web equipados con medidas anti-bot pueden detectar fácilmente esto y bloquear el acceso para evitar el raspado o prueba automatizada. Esto hace que sea esencial personalizar la cadena del agente de usuario en Selenium para que las solicitudes parezcan provenir de un navegador real, reduciendo así el riesgo de detección y bloqueo.

Para lograr esto, puede modificar la cadena del agente de usuario en Selenium para que coincida con la de navegadores estándar, mejorando así la stealth y la efectividad de sus scripts automatizados.

Agente de usuario predeterminado en Selenium

Sí, Selenium sí utiliza una cadena de agente de usuario para identificarse cuando realiza solicitudes HTTP. Por defecto, Selenium utilizará la cadena de agente de usuario asociada al navegador que está automatizando. Esto significa que cuando ejecuta un script de Selenium con el controlador de Chrome, la cadena del agente de usuario reflejará el agente de usuario predeterminado para Chrome.

Sin embargo, este agente de usuario predeterminado puede señalar a los servidores web que las solicitudes provienen de un script automatizado, haciendo que sus operaciones basadas en Selenium sean propensas a la detección y al bloqueo por parte de los sistemas anti-bot. Personalizar la cadena del agente de usuario puede ayudar a mitigar este problema, permitiendo que sus scripts se integren más suavemente con el tráfico de navegadores regulares.

Redime tu código promocional de CapSolver

Aumenta tu presupuesto de automatización instantáneamente!
Usa el código promocional CAPN al recargar tu cuenta de CapSolver para obtener un 5% adicional en cada recarga — sin límites.
Redímelo ahora en tu Panel de CapSolver
.

¿Por qué cambiar el agente de usuario?

Como se mencionó anteriormente, el campo del agente de usuario contiene información sobre el tipo de navegador, versión, motor y sistema operativo que hace la solicitud. Si un sitio web objetivo recibe múltiples solicitudes del mismo agente de usuario en un corto período, tiene motivos para sospechar que las solicitudes provienen del mismo usuario o de un solo bot. Los administradores del sitio pueden bloquear temporalmente las solicitudes de ese agente de usuario específico para evitar más acceso. En particular, en escenarios donde se necesita raspar una gran cantidad de datos, poder cambiar el agente de usuario para imitar a diferentes usuarios es crucial. Esto puede aumentar significativamente la tasa de éxito de sus esfuerzos de raspado.

Cambiar el agente de usuario en Selenium de Google Chrome

Si aún no ha instalado la biblioteca selenium localmente, puede usar el siguiente comando para instalarla:

pip install selenium

Importar la biblioteca:

from selenium import webdriver

Luego inicializar un objeto Chrome Options y establecer un agente de usuario personalizado:

custom_user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36"

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--user-agent={custom_user_agent}')

A continuación, crear una nueva instancia de ChromeDriver y realizar una solicitud al sitio web objetivo:

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://httpbin.org/user-agent")

HTTPBin es un servicio de depuración de solicitudes web que muestra el agente de usuario de la solicitud. Si el código es correcto, debería ver nuestro agente de usuario personalizado mostrado como se muestra en la imagen a continuación:

En el código anterior, el valor de custom_user_agent es estático. Si desea utilizar un agente de usuario diferente cada vez que abre el navegador, puede recopilar manualmente varias cadenas de agente de usuario y compilarlas en una lista. Luego, seleccionar aleatoriamente un valor cada vez. Alternativamente, puede utilizar la biblioteca fake-useragent, que ofrece una forma sencilla de generar cadenas de agente de usuario aleatorias en tiempo real. Instale la biblioteca con el siguiente comando:

pip install fake-useragent

Usar fake-useragent es sencillo:

from fake_useragent import UserAgent
ua = UserAgent()

# Obtener una cadena de agente de usuario aleatoria de un navegador
print(ua.random)

# O obtener una cadena de agente de usuario de un navegador específico
print(ua.chrome)
# Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36
print(ua.firefox)
# Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/115.0
print(ua.safari)
# Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.2 Safari/605.1.15

Al combinarlo con Selenium, el código completo se ve así:

import time
from selenium import webdriver
from fake_useragent import UserAgent

ua = UserAgent()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--user-agent={ua.random}')

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://httpbin.org/user-agent")

time.sleep(10)
driver.quit()

Esta configuración permite que el agente de usuario utilizado con Chrome de Google impulsado por Selenium se randomice.

Cambiar el agente de usuario en Selenium de Firefox

Selenium puede controlar no solo Google Chrome, sino también Firefox. La única diferencia es cambiar webdriver.ChromeOptions() por webdriver.FirefoxOptions(). Aquí está el código completo:

import time
from selenium import webdriver
from fake_useragent import UserAgent

ua = UserAgent()
firefox_options = webdriver.FirefoxOptions()
firefox_options.add_argument(f'--user-agent={ua.random}')

driver = webdriver.Firefox(options=firefox_options)
driver.get("https://httpbin.org/user-agent")

time.sleep(10)
driver.quit()

Puede ver que el agente de usuario se ha cambiado correctamente en la página web:

Buenas prácticas para un acceso más fluido a los sitios web

El propósito de cambiar el agente de usuario es evitar que el sitio web objetivo bloquee nuestro acceso. El bloqueo basado en el agente de usuario es solo una de muchas medidas anti-raspado y anti-bot. Más comúnmente, los sitios web imponen desafíos como CAPTCHA (como recaptcha, etc.) para filtrar bots. Estos desafíos suelen ser complejos y dificultan significativamente el acceso a los sitios web.

Usar los servicios de Capsolver puede ayudarle a resolver desafíos de CAPTCHA. Si está realizando solicitudes de API a un sitio web objetivo y se encuentra con desafíos de CAPTCHA, puede usar la API de tarea de Capsolver, que resuelve diversos desafíos y le devuelve el token correcto.

Si está utilizando herramientas de automatización como Selenium, puede integrar de forma ininterrumpida la extensión de Capsolver en navegadores como Chrome y Firefox. Esta integración mejora sus capacidades y proporciona una experiencia más fluida al acceder a los sitios web.

Conclusión

Con este artículo, podrá comprender bien la personalización del agente de usuario en Selenium. Esto le permite no solo mejorar la stealth y la fiabilidad de sus esfuerzos de raspado web, sino también garantizar interacciones más fluidas con diferentes sitios web. Ya sea mediante desafíos de CAPTCHA o simulando el comportamiento del usuario, ajustar estratégicamente los agentes de usuario puede ser un cambio de juego. Y recuerde, con herramientas como CapSolver, superar las barreras para acceder a datos web no solo es factible, sino también eficiente. En el entorno digital actual, adoptar estas prácticas puede aumentar a menudo la eficiencia de sus proyectos de automatización y maximizar los beneficios del raspado web!

Preguntas frecuentes

1. ¿Por qué debo cambiar el agente de usuario al usar Selenium?

Cambiar el agente de usuario ayuda a que su script de Selenium parezca un navegador real en lugar de una herramienta automatizada. Muchos sitios web detectan la automatización revisando agentes de usuario predeterminados y pueden mostrar errores, limitar solicitudes o activar CAPTCHAs. Un agente de usuario personalizado mejora la stealth y reduce el bloqueo.

2. ¿Puedo rotar agentes de usuario automáticamente en Selenium?

Sí. Puede crear una lista de diferentes agentes de usuario y elegir uno aleatoriamente para cada sesión, o usar bibliotecas como fake-useragent para generar identidades de navegadores aleatorios automáticamente. Rotar agentes de usuario es especialmente útil durante tareas de raspado a gran escala.

3. ¿El cambio de agente de usuario solo evita el bloqueo?

No completamente. La modificación del agente de usuario es solo una parte de evitar la detección de bots. Los sitios web también rastrean cookies, reputación de IP, velocidad de solicitudes, comportamiento y pueden mostrar desafíos de CAPTCHA. Combinar Selenium con servicios de resolución de CAPTCHA como CapSolver puede ayudar a mantener un acceso fluido.

4. ¿Cómo verifico si el cambio de agente de usuario funcionó en Selenium?

Puede visitar sitios de depuración como https://httpbin.org/user-agent después de iniciar el controlador. La página mostrará el agente de usuario actual que utiliza su navegador de Selenium. Si aparece su valor personalizado, la configuración fue exitosa.

5. ¿Puedo cambiar el agente de usuario en Firefox así como en Chrome?

Sí. Para Chrome, use webdriver.ChromeOptions(), y para Firefox, use webdriver.FirefoxOptions(). Agregue la opción del agente de usuario al objeto de opciones, luego páselo al inicializar el WebDriver.

6. ¿Qué pasa si los sitios web aún muestran CAPTCHA incluso después de cambiar el agente de usuario?

Es común que los sitios web modernos dependan de más que solo la detección del agente de usuario. Si los CAPTCHA aparecen con frecuencia, puede integrar CapSolver a través de API o extensión de navegador para resolverlos automáticamente, mejorando el flujo de automatización y evitando interrupciones.