Como Resolver o Cloudflare | Usando Puppeteer e Node.js

Sinto que quanto mais tarefas automatizadas estão disponíveis hoje em dia, mais valorizadas elas são, então os desafios se tornam mais evidentes e difíceis. Por exemplo, o Cloudflare atualmente fornece medidas de segurança fortes para proteger sites contra todas as formas de ferramentas de automação.

No entanto, navegar por essas funcionalidades de segurança pode ser desafiador para desenvolvedores e organizações que trabalham em projetos de automação, como web scraping, extração de dados ou testes. No entanto, com as ferramentas e estratégias certas, você pode enfrentar esses desafios de forma eficaz, mantendo a conformidade com padrões legais e éticos.

Neste tutorial, exploraremos como resolver eficazmente o Cloudflare, como o Turnstile, usando Puppeteer e Node.js com a ajuda do solucionador de CAPTCHA.

Código de Bônus

Reivindique seu Código de Bônus para soluções de CAPTCHA de topo; CapSolver: WEBS. Após resgatar, você ganhará um bônus extra de 5% após cada recarga, Ilimitado.

Entendendo o Turnstile do Cloudflare

Turnstile do Cloudflare é uma funcionalidade de segurança sofisticada projetada para desafiar usuários que tentam acessar sites protegidos. Ela emprega uma combinação de técnicas, incluindo desafios JavaScript, CAPTCHAs e análise comportamental, para avaliar se o usuário é um humano legítimo ou um bot automatizado. Para desenvolvedores, isso significa que contornar o Turnstile requer mais do que apenas técnicas tradicionais de web scraping.

Requisitos

Antes de mergulhar na implementação, certifique-se de ter as seguintes ferramentas e recursos:

• Node.js: Instale a versão mais recente do Node.js no site oficial.
• Puppeteer: Uma biblioteca Node.js que fornece uma API de alto nível para controlar o Chrome ou Chromium sem cabeça, útil para tarefas de automação.
• Chave API do CapSolver: Inscreva-se no CapSolver e obtenha uma chave API para serviços de solução de CAPTCHA.

O que é o CapSolver?

CapSolver é uma ferramenta poderosa projetada para ajudar a resolver CAPTCHAs e outros desafios automatizados. À medida que os sites implementam mecanismos de segurança complexos para desestimular bots e scrapers, o CapSolver fornece uma solução confiável para superar esses obstáculos.

Principais Recursos do CapSolver:

• Soluções Abrangentes para CAPTCHA: O CapSolver suporta vários tipos de CAPTCHAs, incluindo reCAPTCHA, captcha, Cloudflare, ImageToText e mais, permitindo a resolução de desafios de forma contínua.
• Alta Precisão: Aproveitando algoritmos avançados e modelos de aprendizado de máquina, o CapSolver garante alta precisão na resolução de CAPTCHAs, reduzindo taxas de falha e melhorando a eficiência.
• Integração Fácil: O CapSolver oferece uma API amigável que se integra facilmente com suas ferramentas de automação existentes, incluindo Puppeteer. Isso permite automatizar a resolução de CAPTCHAs como parte de seus fluxos de trabalho de web scraping ou testes.
• Suporte 24/7: O CapSolver fornece suporte ao cliente robusto para ajudar a resolver quaisquer problemas ou dúvidas, garantindo operação suave e assistência oportuna.

Aqui está uma versão mais detalhada e enriquecida da sua explicação, juntamente com uma seção de conclusão para o artigo:

Passos Detalhados de Implementação

1. Usando Puppeteer e JavaScript para Chamar a API do CapSolver e Acessar o Site

   • O Puppeteer é uma poderosa biblioteca Node.js que permite controlar o Chrome ou Chromium sem cabeça através do Protocolo DevTools. Neste contexto, é usado para navegar por páginas web e lidar com interações complexas, como lidar com CAPTCHAs.

2. Recuperando a SiteKey para o Turnstile

   • A SiteKey é um elemento crucial que deve ser obtido para resolver o desafio do Turnstile. Essa chave é única para cada site e é necessária para interagir com a API de solução de CAPTCHA. Você pode extrair a SiteKey analisando o HTML do site ou usando ferramentas como a Extensão do CapSolver para simplificar o processo. Para um guia detalhado sobre como identificar os parâmetros necessários, consulte nosso post no blog dedicado.

3. Usando JavaScript para Chamar a API do CapSolver e Obter um Token

   • Uma vez que você tenha a SiteKey, você pode fazer uma solicitação para a API do CapSolver. Isso envolve criar uma tarefa que o CapSolver processará para resolver o CAPTCHA. A API retornará um token que você pode usar para contornar a proteção do Turnstile.
   • Aqui está um exemplo de como interagir com a API do CapSolver usando JavaScript:

// npm install axios puppeteer-core
const axios = require('axios');
const puppeteer = require("puppeteer-core");

const api_key = "YOUR_API_KEY";
const site_key = "0xxxxxx";
const site_url = "https://xxx.xxx.xxx/xxx";
const proxy = "http://xxx:xxx@x.x.x.x:x"

async function capsolver() {
  const payload = {
    clientKey: api_key,
    task: {
      type: 'AntiTurnstileTaskProxyLess',
      websiteKey: site_key,
      websiteURL: site_url,
      metadata: {
          action: '',  // opcional,
          type: "turnstile"
      },
      // proxy: proxy
    }
  };

  try {
    const res = await axios.post("https://api.capsolver.com/createTask", payload);
    const task_id = res.data.taskId;
    if (!task_id) {
      console.log("Falha ao criar tarefa:", res.data);
      return;
    }
    console.log("Recebido taskId:", task_id);

    while (true) {
      await new Promise(resolve => setTimeout(resolve, 1000)); // Atraso de 1 segundo

      const getResultPayload = {clientKey: api_key, taskId: task_id};
      const resp = await axios.post("https://api.capsolver.com/getTaskResult", getResultPayload);
      const status = resp.data.status;

      if (status === "ready") {
        return resp.data.solution.token;
      }
      if (status === "failed" || resp.data.errorId) {
        console.log("Falha na resolução! resposta:", resp.data);
        return;
      }
    }
  } catch (error) {
    console.error("Erro:", error);
  }
}

const wait = (ms) => new Promise(resolve => setTimeout(resolve, ms));
async function reqSite(){
  let coockie;
  await capsolver().then(token => {
    console.log(token);
    coockie = token;
  });

  const browser = await puppeteer.launch({
    headless: false,
    executablePath: "Caminho do Navegador"
  });

  const page = await browser.newPage();
  await wait(500);
  await page.setCookie({
    name: "cf_clearance",
    value: coockie,
    domain: "xx.xx.xx"
  });
  await wait(500);
  await page.goto(site_url);
  // TODO
  await page.close();
  await browser.disconnect();
}

reqSite().then();

4. Definindo Cookies com Puppeteer e Acessando o Conteúdo da Página
   • Com o token obtido do CapSolver, você pode agora definir os cookies apropriados no Puppeteer para passar pelo desafio do Cloudflare. Este passo é crucial, pois permite que você acesse o conteúdo protegido do site.

Conclusão

Neste tutorial, exploramos como navegar efetivamente pela segurança Turnstile do Cloudflare usando Puppeteer e a API do CapSolver. Ao entender as complexidades das medidas de proteção do Cloudflare e aproveitar ferramentas poderosas como o CapSolver, os desenvolvedores podem automatizar com sucesso tarefas como web scraping, extração de dados e testes sem comprometer a conformidade com os padrões legais.

A automação continua a crescer em importância em várias indústrias, e com ela, os desafios impostos por sistemas de segurança avançados como o Turnstile. Mantendo-se informado e utilizando as estratégias certas, você pode garantir que seus projetos de automação funcionem de forma suave e eficiente.

Se você está trabalhando em projetos semelhantes, não hesite em explorar [CapSolver](https://www.capsolver.com/?utm_source=official&utm_medium=blog&utm

_campaign=cloudflarenodejs) para soluções robustas de resolução de CAPTCHA. Para mais informações, não deixe de conferir tópicos relacionados, como melhores práticas de web scraping e dicas de uso do Puppeteer.