Como contornar o Cloudflare | Usando Puppeteer Node.JS

Acredito que quanto mais tarefas automatizadas estão disponíveis atualmente, mais elas são valorizadas, então os desafios tornam-se mais aparentes e difíceis. Por exemplo, a Cloudflare atualmente fornece medidas de segurança fortes para proteger sites de todos os tipos de ferramentas de automação.

Mas navegar por essas funcionalidades de segurança pode ser desafiador para desenvolvedores e organizações que trabalham em projetos de automação, como raspagem de web, extração de dados ou testes. No entanto, com as ferramentas e estratégias certas, você pode resolver efetivamente esses desafios, mantendo-se em conformidade com padrões legais e éticos.

Neste tutorial, então, vou explorar como resolver efetivamente o Cloudflare como Turnstile usando Puppeteer e Node.js e a ajuda do solucionador de CAPTCHA

Resgatar seu código promocional da CapSolver

Aumente seu orçamento de automação instantaneamente!
Use o código promocional CAPN ao recarregar sua conta da CapSolver para obter um bônus adicional de 5% em cada recarga — sem limites.
Resgate-o agora em seu Painel da CapSolver
.

Entendendo o Turnstile da Cloudflare

O Turnstile da Cloudflare é um recurso de segurança sofisticado projetado para desafiar usuários que tentam acessar sites protegidos. Ele emprega uma combinação de técnicas, incluindo desafios JavaScript, CAPTCHAs e análise de comportamento, para avaliar se o usuário é um humano legítimo ou um robô automatizado. Para os desenvolvedores, isso significa que burlar o Turnstile exige mais do que apenas técnicas tradicionais de raspagem de web.

Pré-requisitos

Antes de mergulhar na implementação, certifique-se de ter as seguintes ferramentas e recursos:

• Node.js: Instale a versão mais recente do Node.js no site oficial.
• Puppeteer: Uma biblioteca Node.js que fornece uma API de alto nível para controlar o Chrome ou Chromium headless por meio do Protocolo DevTools. Útil para tarefas de automação.
• Chave de API da CapSolver: Registre-se na CapSolver e obtenha uma chave de API para serviços de resolução de CAPTCHA.

O que é a CapSolver?

CapSolver é uma ferramenta poderosa projetada para ajudar na resolução de CAPTCHAs e outros desafios automatizados. À medida que os sites adotam mecanismos de segurança cada vez mais complexos para desencorajar robôs e raspadores, a CapSolver oferece uma solução confiável para superar esses obstáculos.

Principais Funcionalidades da CapSolver:

• Soluções completas de CAPTCHA: A CapSolver suporta vários tipos de CAPTCHAs, incluindo reCAPTCHA, Cloudflare, ImageToText e mais, permitindo a resolução sem problemas dos desafios.
• Alta precisão: Utilizando algoritmos avançados e modelos de aprendizado de máquina, a CapSolver garante alta precisão na resolução de CAPTCHAs, reduzindo as taxas de falha e melhorando a eficiência.
• Integração fácil: A CapSolver oferece uma API amigável ao usuário que se integra facilmente às suas ferramentas de automação existentes, incluindo o Puppeteer. Isso permite que você automatize a resolução de CAPTCHA como parte de seus fluxos de trabalho de raspagem de web ou testes.
• Suporte 24/7: A CapSolver fornece suporte robusto ao cliente para resolver qualquer problema ou dúvida, garantindo operação suave e assistência oportuna.

Aqui está uma versão mais detalhada e aprimorada da sua explicação, juntamente com uma seção conclusiva para o artigo:

Passos Detalhados da Implementação

1. Usando o Puppeteer e JavaScript para Chamar a API da CapSolver e Acessar o Site

   • O Puppeteer é uma biblioteca Node.js poderosa que permite controlar o Chrome ou Chromium headless por meio do Protocolo DevTools. Nesse contexto, ele é usado para navegar em páginas da web e lidar com interações complexas, como lidar com CAPTCHAs.

2. Recuperando a SiteKey para o Turnstile

   • A SiteKey é um elemento crucial que deve ser obtido para resolver o desafio do Turnstile. Essa chave é única para cada site e é necessária para interagir com a API de resolução de CAPTCHA. Você pode extrair a SiteKey analisando o HTML do site ou usando ferramentas como a Extensão da CapSolver para agilizar o processo. Para um guia detalhado sobre como identificar os parâmetros necessários, consulte nosso post dedicado no blog.

3. Usando JavaScript para Chamar a API da CapSolver e Obter um Token

   • Uma vez que você tenha a SiteKey, pode fazer uma solicitação à API da CapSolver. Isso envolve criar uma tarefa que a CapSolver processará para resolver o CAPTCHA. A API retornará um token que você pode usar para contornar a proteção do Turnstile.
   • Aqui está um exemplo de como interagir com a API da CapSolver usando JavaScript:

// npm install axios puppeteer-core
const axios = require('axios');
const puppeteer = require("puppeteer-core");

const api_key = "SUA_CHAVE_DE_API";
const site_key = "0xxxxxx";
const site_url = "https://xxx.xxx.xxx/xxx";
const proxy = "http://xxx:xxx@x.x.x.x:x"

async function capsolver() {
  const payload = {
    clientKey: api_key,
    task: {
      type: 'AntiTurnstileTaskProxyLess',
      websiteKey: site_key,
      websiteURL: site_url,
      metadata: {
          action: '',  // opcional,
          type: "turnstile"
      },
      // proxy: proxy
    }
  };

  try {
    const res = await axios.post("https://api.capsolver.com/createTask", payload);
    const task_id = res.data.taskId;
    if (!task_id) {
      console.log("Falha ao criar tarefa:", res.data);
      return;
    }
    console.log("Obtido taskId:", task_id);

    while (true) {
      await new Promise(resolve => setTimeout(resolve, 1000)); // Atraso de 1 segundo

      const getResultPayload = {clientKey: api_key, taskId: task_id};
      const resp = await axios.post("https://api.capsolver.com/getTaskResult", getResultPayload);
      const status = resp.data.status;

      if (status === "ready") {
        return resp.data.solution.token;
      }
      if (status === "failed" || resp.data.errorId) {
        console.log("Falha na resolução! resposta:", resp.data);
        return;
      }
    }
  } catch (error) {
    console.error("Erro:", error);
  }
}

const wait = (ms) => new Promise(resolve => setTimeout(resolve, ms));
async function reqSite(){
  let coockie;
  await capsolver().then(token => {
    console.log(token);
    coockie = token;
  });

  const browser = await puppeteer.launch({
    headless: false,
    executablePath: "Caminho do Navegador"
  });

  const page = await browser.newPage();
  await wait(500);
  await page.setCookie({
    name: "cf_clearance",
    value: coockie,
    domain: "xx.xx.xx"
  });
  await wait(500);
  await page.goto(site_url);
  // TODO
  await page.close();
  await browser.disconnect();
}

reqSite().then();

4. Definindo Cookies com o Puppeteer e Acessando o Conteúdo da Página
   • Com o token obtido da CapSolver, agora você pode definir os cookies apropriados no Puppeteer para passar pelo desafio do Cloudflare. Este passo é crítico, pois permite que você acesse o conteúdo protegido no site.

Conclusão

Neste tutorial, exploramos como navegar efetivamente pela segurança do Turnstile da Cloudflare usando o Puppeteer e a API da CapSolver. Ao compreender as nuances das medidas de proteção da Cloudflare e aproveitar ferramentas poderosas como a CapSolver, os desenvolvedores podem automatizar com sucesso tarefas como raspagem de web, extração de dados e testes, sem comprometer a conformidade com padrões legais.

A automação continua crescendo em importância em diversos setores, e com ela, os desafios impostos por sistemas de segurança avançados como o Turnstile. Ao se manter informado e utilizar as estratégias certas, você pode garantir que seus projetos de automação funcionem de forma suave e eficiente.

Se você está trabalhando em projetos semelhantes, não hesite em explorar a CapSolver para soluções robustas de resolução de CAPTCHA. Para mais insights, certifique-se de conferir tópicos relacionados como práticas recomendadas de raspagem de web e dicas de uso do Puppeteer.

Perguntas Frequentes

1. É legal e seguro usar a CapSolver para contornar o Turnstile da Cloudflare?

A CapSolver é uma ferramenta legítima, e sua legalidade depende de como ela é usada.
Enquanto a automação, testes ou raspagem forem feitos com autorização adequada e em conformidade com leis locais e políticas do site, é aceitável.
Evite usar tais ferramentas para raspagem não autorizada ou atividades maliciosas, pois isso pode violar os termos de serviço ou leis.

2. Por que preciso do Puppeteer para resolver o Turnstile? Não posso apenas usar solicitações HTTP?

O Turnstile da Cloudflare valida muito mais do que um CAPTCHA. Ele também verifica:

• Impressão digital do navegador
• Execução de JavaScript
• Comportamento de cookies e armazenamento
• Carregamento e interações de recursos da página

Solicitações HTTP puras não conseguem simular com precisão um ambiente de navegador real.
O Puppeteer fornece um contexto completo de navegador, tornando-o mais confiável ao contornar os checklists de segurança da Cloudflare.

3. Recebi um token da CapSolver, mas a página ainda não carrega. O que devo verificar?

Possíveis razões incluem:

• SiteKey incorreta (cada página pode ter uma chave diferente)
• Cookie cf_clearance ausente ou mal definido
• Impressão digital do navegador suspeita detectada pela Cloudflare
• Inconsistências no proxy (se um proxy for usado)

Etapas de solução de problemas:

1. Confirme se a CapSolver retornou um token válido.
2. Certifique-se de que o Puppeteer definiu corretamente o cookie para o domínio correto.
3. Certifique-se de que a URL acessada corresponda à websiteURL usada ao criar a tarefa.
4. Se os problemas persistirem, considere ativar um proxy ou ajustar as configurações de impressão digital do navegador.