Alterar o User-Agent no Selenium | Passos & Boas Práticas

Alterar o User Agent no Selenium é um passo crucial para muitas tarefas de raspagem de dados. Ele ajuda a disfarçar o script de automação como um navegador regular, evitando assim a detecção por sites. Este guia o walk-through dos passos para alterar o User Agent do Google Chrome no Selenium e fornece melhores práticas para garantir que suas tarefas de raspagem de dados funcionem sem problemas.

Índice

1. Entendendo o User Agent do Selenium
2. User Agent Padrão no Selenium
3. Por que Alterar o User Agent?
   a. Alterando o User Agent no Selenium do Google Chrome
   b. Alterando o User Agent no Selenium do Firefox
4. Melhores Práticas para Acesso Mais Suave aos Sites
5. Conclusão

Entendendo o User Agent do Selenium

A string do User Agent é uma parte crucial dos cabeçalhos HTTP que desempenha um papel importante na comunicação entre navegadores e servidores web. Ela fornece informações específicas sobre o navegador, sistema operacional e dispositivo usado para enviar a solicitação. Aqui está um exemplo de uma string do User Agent típica:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36

Essa string indica que a solicitação vem de um navegador Chrome executando em um sistema operacional Windows.

No entanto, ao usar o Selenium para automação da web, a string do User Agent padrão pode revelar que as solicitações são feitas por um script automatizado. Sites equipados com medidas anti-bot podem detectar facilmente isso e bloquear o acesso para evitar raspagem ou testes automatizados. Isso torna essencial personalizar a string do User Agent no Selenium para que as solicitações pareçam vir de um navegador genuíno, reduzindo assim o risco de detecção e bloqueio.

Para alcançar isso, você pode modificar a string do User Agent no Selenium para corresponder aos de navegadores padrão, aumentando a stealth e a eficácia de seus scripts automatizados.

User Agent Padrão no Selenium

Sim, o Selenium usa uma string do User Agent para se identificar ao fazer solicitações HTTP. Por padrão, o Selenium usará a string do User Agent associada ao navegador que está automatizando. Isso significa que, quando você executa um script Selenium com o WebDriver do Chrome, a string do User Agent será a padrão do Chrome.

No entanto, essa string do User Agent padrão pode, às vezes, sinalizar para servidores web que as solicitações estão vindo de um script automatizado, tornando suas operações baseadas no Selenium propensas à detecção e bloqueio por sistemas anti-bot. Personalizar a string do User Agent pode ajudar a mitigar esse problema, permitindo que seus scripts se integrem mais suavemente ao tráfego de navegadores regulares.

Resgatar seu código de bônus da CapSolver

Aumente seu orçamento de automação instantaneamente!
Use o código de bônus CAPN ao recarregar sua conta da CapSolver para obter um bônus adicional de 5% em cada recarga — sem limites.
Resgate-o agora em seu Painel da CapSolver
.

Por que Alterar o User Agent?

Como mencionado anteriormente, o campo User Agent contém informações sobre o tipo de navegador, versão, engine e sistema operacional que faz a solicitação. Se um site de destino receber múltiplas solicitações do mesmo User Agent em um curto período, ele tem motivos para suspeitar que as solicitações vêm do mesmo usuário ou de um único bot. Os administradores do site podem, então, bloquear temporariamente as solicitações desse User Agent específico para evitar acesso adicional. Especialmente em cenários onde uma grande quantidade de dados precisa ser raspada, conseguir alterar o User Agent para imitar diferentes usuários é crucial. Isso pode aumentar significativamente a taxa de sucesso dos seus esforços de raspagem.

Alterando o User Agent no Selenium do Google Chrome

Se você não instalou a biblioteca selenium localmente, pode usar o seguinte comando para instalá-la:

pip install selenium

Importe a biblioteca:

from selenium import webdriver

Em seguida, inicialize um objeto ChromeOptions e defina um User Agent personalizado:

custom_user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36"

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--user-agent={custom_user_agent}')

Em seguida, crie uma nova instância do ChromeDriver e faça uma solicitação ao site de destino:

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://httpbin.org/user-agent")

HTTPBin é um serviço de depuração de solicitações web que exibe o User Agent da solicitação. Se o código estiver correto, você deverá ver nosso User Agent personalizado exibido, como mostrado na imagem abaixo:

No código acima, o valor de custom_user_agent é estático. Se quiser usar um User Agent diferente cada vez que abrir o navegador, você pode coletar manualmente várias strings de User Agent e compilá-las em uma lista. Em seguida, selecione aleatoriamente um valor da lista a cada vez. Alternativamente, você pode usar a biblioteca fake-useragent, que fornece uma maneira simples de gerar strings de User Agent aleatórias em tempo real. Instale a biblioteca com o seguinte comando:

pip install fake-useragent

Usar fake-useragent é simples:

from fake_useragent import UserAgent
ua = UserAgent()

# Obter uma string de User Agent aleatória do navegador
print(ua.random)

# Ou obter uma string de User Agent de um navegador específico
print(ua.chrome)
# Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36
print(ua.firefox)
# Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/115.0
print(ua.safari)
# Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.2 Safari/605.1.15

Quando combinado com o Selenium, o código completo fica assim:

import time
from selenium import webdriver
from fake_useragent import UserAgent

ua = UserAgent()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--user-agent={ua.random}')

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://httpbin.org/user-agent")

time.sleep(10)
driver.quit()

Essa configuração permite que você randomize o User Agent usado com o Google Chrome controlado pelo Selenium.

Alterando o User Agent no Selenium do Firefox

O Selenium pode controlar não apenas o Google Chrome, mas também o Firefox. A única diferença é trocar webdriver.ChromeOptions() por webdriver.FirefoxOptions(). Aqui está o código completo:

import time
from selenium import webdriver
from fake_useragent import UserAgent

ua = UserAgent()
firefox_options = webdriver.FirefoxOptions()
firefox_options.add_argument(f'--user-agent={ua.random}')

driver = webdriver.Firefox(options=firefox_options)
driver.get("https://httpbin.org/user-agent")

time.sleep(10)
driver.quit()

Você pode ver que o User Agent foi alterado com sucesso na página da web:

Melhores Práticas para Acesso Mais Suave aos Sites

O objetivo de alterar o User Agent é impedir que o site-alvo bloquee nosso acesso. O bloqueio baseado no User Agent é apenas uma das muitas medidas anti-escaneamento e anti-bot. Mais comumente, os sites impõem desafios como CAPTCHA (como recaptcha, etc.) para filtrar bots. Esses desafios são frequentemente complexos e significativamente dificultam o acesso ao site.

Usar os serviços da Capsolver pode ajudá-lo a resolver desafios de CAPTCHA. Se você estiver fazendo solicitações de API para um site-alvo e encontrar desafios de CAPTCHA, pode usar a task API da Capsolver, que resolve vários desafios e retorna o token correto para você.

Se você estiver usando ferramentas de automação como o Selenium, pode integrar de forma ininterrupta a extensão da Capsolver em navegadores como Chrome e Firefox. Essa integração melhora suas capacidades e fornece uma experiência mais suave para acessar sites.

Conclusão

Com este artigo, você pode compreender bem a personalização do User Agent no Selenium. Isso permite não apenas melhorar a stealth e a confiabilidade dos seus esforços de raspagem de dados, mas também garantir interações mais suaves com diferentes sites. Seja por meio de desafios de CAPTCHA ou simular comportamento de usuário, ajustar os User Agents de forma estratégica pode ser uma mudança de jogo. E lembre-se, com ferramentas como CapSolver, superar barreiras para acessar dados da web não é apenas viável, mas eficiente. Em um ambiente digital dinâmico, adotar essas práticas pode aumentar frequentemente a eficiência dos seus projetos de automação e maximizar os benefícios da raspagem de dados!

Perguntas Frequentes

1. Por que devo alterar o User Agent ao usar o Selenium?

Alterar o User Agent ajuda seu script Selenium a parecer um navegador real em vez de uma ferramenta automatizada. Muitos sites detectam automação verificando User Agents padrão e podem mostrar erros, limitar solicitações ou disparar CAPTCHAs. Um User Agent personalizado melhora a stealth e reduz o bloqueio.

2. Posso rotacionar os User Agents automaticamente no Selenium?

Sim. Você pode criar uma lista de diferentes User Agents e escolher um aleatoriamente para cada sessão, ou usar bibliotecas como fake-useragent para gerar identidades de navegadores aleatórios automaticamente. Rotacionar User Agents é especialmente útil em tarefas de raspagem em larga escala.

3. Alterar o User Agent sozinho evita o bloqueio?

Não totalmente. A modificação do User Agent é apenas uma parte da evasão da detecção de bots. Os sites também rastreiam cookies, reputação de IP, velocidade de solicitação, comportamento e podem exibir desafios de CAPTCHA. Combinar o Selenium com serviços de resolução de CAPTCHA como CapSolver pode ajudar a manter o acesso suave.

4. Como verificar se a alteração do User Agent funcionou no Selenium?

Você pode visitar sites de depuração como https://httpbin.org/user-agent após iniciar o driver. A página exibirá o User Agent atual sendo usado pelo seu navegador Selenium — se o valor personalizado aparecer, a configuração foi bem-sucedida.

5. Posso alterar o User Agent no Firefox assim como no Chrome?

Sim. Para o Chrome, use webdriver.ChromeOptions(), e para o Firefox use webdriver.FirefoxOptions(). Adicione a opção do User Agent ao objeto de opções, depois passe-a ao inicializar o WebDriver.

6. O que fazer se os sites ainda exibirem CAPTCHA mesmo após alterar o User Agent?

Isso é comum — sites modernos dependem de mais do que apenas a detecção de User Agent. Se os CAPTCHAs aparecerem com frequência, você pode integrar CapSolver via API ou extensão do navegador para resolvê-los automaticamente, melhorando o fluxo de automação e evitando interrupções.