Cara menyelesaikan Cloudflare | Menggunakan Puppeteer Node.js

Saya merasa semakin banyak tugas otomatis yang tersedia saat ini, semakin bernilai tinggi, sehingga tantangan menjadi lebih jelas dan sulit. Misalnya, Cloudflare saat ini menyediakan langkah keamanan yang kuat untuk melindungi situs web dari berbagai alat otomatisasi.

Namun, menghadapi fitur keamanan ini bisa menjadi tantangan bagi pengembang dan organisasi yang bekerja pada proyek otomatisasi seperti scraping web, ekstraksi data, atau pengujian. Namun, dengan alat dan strategi yang tepat, Anda dapat secara efektif mengatasi tantangan ini sambil tetap mematuhi standar hukum dan etika.

Dalam tutorial ini, saya akan menjelajahi cara efektif menyelesaikan Cloudflare Turnstile dengan menggunakan Puppeteer dan Node.js serta bantuan solver CAPTCHA

Klaim Kode Bonus CapSolver

Meningkatkan anggaran otomatisasi Anda secara instan!
Gunakan kode bonus CAPN saat menambahkan dana ke akun CapSolver untuk mendapatkan bonus tambahan 5% pada setiap pengisian ulang — tanpa batas.
Klaim sekarang di Dasbor CapSolver
.

Memahami Cloudflare Turnstile

Cloudflare Turnstile adalah fitur keamanan yang canggih dirancang untuk menguji pengguna yang mencoba mengakses situs yang dilindungi. Ini menggunakan kombinasi teknik, termasuk tantangan JavaScript, CAPTCHA, dan analisis perilaku untuk mengevaluasi apakah pengguna adalah manusia yang sah atau bot otomatis. Bagi pengembang, ini berarti bahwa melewati Turnstile memerlukan lebih dari teknik scraping web tradisional.

Prasyarat

Sebelum memasuki implementasi, pastikan Anda memiliki alat dan sumber daya berikut:

• Node.js: Instal versi terbaru Node.js dari situs web resmi.
• Puppeteer: Perpustakaan Node.js yang menyediakan API tingkat tinggi untuk mengontrol Chrome atau Chromium headless melalui Protokol DevTools, berguna untuk tugas otomatisasi.
• Kunci API CapSolver: Daftar ke CapSolver dan dapatkan kunci API untuk layanan penyelesaian CAPTCHA.

Apa itu CapSolver?

CapSolver adalah alat yang kuat yang dirancang untuk membantu menyelesaikan CAPTCHA dan tantangan otomatis lainnya. Seiring dengan semakin meningkatnya penggunaan mekanisme keamanan kompleks oleh situs web untuk mencegah bot dan scraper, CapSolver menyediakan solusi yang dapat diandalkan untuk mengatasi hambatan ini.

Fitur Utama CapSolver:

• Solusi CAPTCHA Komprehensif: CapSolver mendukung berbagai jenis CAPTCHA, termasuk reCAPTCHA, Cloudflare, ImageToText, dan lainnya, memungkinkan penyelesaian tantangan yang mulus.

• Akurasi Tinggi: Menggunakan algoritma canggih dan model pembelajaran mesin, CapSolver memastikan akurasi tinggi dalam menyelesaikan CAPTCHA, mengurangi tingkat kegagalan dan meningkatkan efisiensi.

• Integrasi yang Mudah: CapSolver menawarkan API yang ramah pengguna yang dapat diintegrasikan dengan mudah ke alat otomatisasi Anda yang sudah ada, termasuk Puppeteer. Ini memungkinkan Anda untuk mengotomatisasi penyelesaian CAPTCHA sebagai bagian dari alur kerja scraping web atau pengujian Anda.

• Dukungan 24/7: CapSolver menyediakan dukungan pelanggan yang kuat untuk membantu menyelesaikan masalah atau pertanyaan apa pun, memastikan operasi yang mulus dan bantuan tepat waktu.

  Berikut adalah versi yang lebih rinci dan diperkaya dari penjelasan Anda, beserta bagian penutup untuk artikel ini:

Langkah Implementasi yang Detail

1. Menggunakan Puppeteer dan JavaScript untuk Memanggil API CapSolver dan Mengakses Situs Web

   • Puppeteer adalah perpustakaan Node.js yang kuat yang memungkinkan Anda mengontrol Chrome atau Chromium headless melalui Protokol DevTools. Dalam konteks ini, digunakan untuk menelusuri halaman web dan menangani interaksi kompleks, seperti menangani CAPTCHA.

2. Mengambil SiteKey untuk Turnstile

   • SiteKey adalah elemen penting yang harus diperoleh untuk menyelesaikan tantangan Turnstile. Kunci ini unik untuk setiap situs web dan diperlukan untuk berinteraksi dengan API penyelesaian CAPTCHA. Anda dapat mengekstrak SiteKey dengan menganalisis HTML situs web atau menggunakan alat seperti Ekstensi CapSolver untuk mempercepat proses. Untuk panduan rinci tentang cara mengidentifikasi parameter yang diperlukan, merujuk ke artikel blog khusus kami.

3. Menggunakan JavaScript untuk Memanggil API CapSolver dan Mendapatkan Token

   • Setelah Anda memiliki SiteKey, Anda dapat membuat permintaan ke API CapSolver. Ini melibatkan pembuatan tugas yang akan diproses oleh CapSolver untuk menyelesaikan CAPTCHA. API akan mengembalikan token yang dapat Anda gunakan untuk melewati perlindungan Turnstile.
   • Berikut adalah contoh cara berinteraksi dengan API CapSolver menggunakan JavaScript:

// npm install axios puppeteer-core
const axios = require('axios');
const puppeteer = require("puppeteer-core");

const api_key = "YOUR_API_KEY";
const site_key = "0xxxxxx";
const site_url = "https://xxx.xxx.xxx/xxx";
const proxy = "http://xxx:[email protected]:x"

async function capsolver() {
  const payload = {
    clientKey: api_key,
    task: {
      type: 'AntiTurnstileTaskProxyLess',
      websiteKey: site_key,
      websiteURL: site_url,
      metadata: {
          action: '',  // opsional,
          type: "turnstile"
      },
      // proxy: proxy
    }
  };

  try {
    const res = await axios.post("https://api.capsolver.com/createTask", payload);
    const task_id = res.data.taskId;
    if (!task_id) {
      console.log("Gagal membuat tugas:", res.data);
      return;
    }
    console.log("Dapatkan taskId:", task_id);

    while (true) {
      await new Promise(resolve => setTimeout(resolve, 1000)); // Tunda selama 1 detik

      const getResultPayload = {clientKey: api_key, taskId: task_id};
      const resp = await axios.post("https://api.capsolver.com/getTaskResult", getResultPayload);
      const status = resp.data.status;

      if (status === "ready") {
        return resp.data.solution.token;
      }
      if (status === "failed" || resp.data.errorId) {
        console.log("Penyelesaian gagal! respons:", resp.data);
        return;
      }
    }
  } catch (error) {
    console.error("Kesalahan:", error);
  }
}

const wait = (ms) => new Promise(resolve => setTimeout(resolve, ms));
async function reqSite(){
  let coockie;
  await capsolver().then(token => {
    console.log(token);
    coockie = token;
  });

  const browser = await puppeteer.launch({
    headless: false,
    executablePath: "Path Browser"
  });

  const page = await browser.newPage();
  await wait(500);
  await page.setCookie({
    name: "cf_clearance",
    value: coockie,
    domain: "xx.xx.xx"
  });
  await wait(500);
  await page.goto(site_url);
  // TODO
  await page.close();
  await browser.disconnect();
}

reqSite().then();

4. Mengatur Kuki dengan Puppeteer dan Mengakses Konten Halaman
   • Dengan token yang diperoleh dari CapSolver, Anda sekarang dapat mengatur kuki yang sesuai di Puppeteer untuk melewati tantangan Cloudflare. Langkah ini kritis, karena memungkinkan Anda mengakses konten yang dilindungi di situs web.

Kesimpulan

Dalam tutorial ini, kita menjelajahi cara efektif menghadapi keamanan Cloudflare Turnstile menggunakan Puppeteer dan API CapSolver. Dengan memahami mekanisme perlindungan Cloudflare dan memanfaatkan alat kuat seperti CapSolver, pengembang dapat secara sukses mengotomatisasi tugas seperti scraping web, ekstraksi data, dan pengujian tanpa mengorbankan kepatuhan terhadap standar hukum.

Otomatisasi terus berkembang dalam pentingnya di berbagai industri, dan bersamaan dengan itu, tantangan yang ditimbulkan oleh sistem keamanan canggih seperti Turnstile. Dengan tetap terinformasi dan menggunakan strategi yang tepat, Anda dapat memastikan proyek otomatisasi Anda berjalan lancar dan efisien.

Jika Anda bekerja pada proyek serupa, jangan ragu untuk menjelajahi CapSolver untuk solusi penyelesaian CAPTCHA yang andal. Untuk wawasan lebih lanjut, pastikan untuk memeriksa topik terkait seperti praktik terbaik scraping web dan tips penggunaan Puppeteer.

FAQ

1. Apakah legal dan aman menggunakan CapSolver untuk melewati Cloudflare Turnstile?

CapSolver adalah alat yang sah, dan kelegalannya tergantung pada penggunaannya.
Selama otomatisasi, pengujian, atau scraping dilakukan dengan izin yang tepat dan sesuai dengan hukum setempat serta kebijakan situs web, itu diterima.
Hindari menggunakan alat ini untuk scraping yang tidak sah atau aktivitas jahat, karena hal itu mungkin melanggar ketentuan layanan atau hukum.

2. Mengapa saya perlu Puppeteer untuk menyelesaikan Turnstile? Bisa tidak menggunakan permintaan HTTP saja?

Cloudflare Turnstile memvalidasi lebih dari CAPTCHA. Ia juga memeriksa:

• Sidik jari browser
• Eksekusi JavaScript
• Perilaku kuki dan penyimpanan
• Pemuatan sumber daya halaman dan interaksi

Permintaan HTTP murni tidak dapat mensimulasikan lingkungan browser yang nyata secara akurat.
Puppeteer menyediakan konteks browser penuh, membuatnya lebih andal saat melewati pemeriksaan keamanan berlapis Cloudflare.

3. Saya menerima token dari CapSolver, tetapi halaman masih tidak dimuat. Apa yang harus saya periksa?

Alasan mungkin termasuk:

• SiteKey yang salah (setiap halaman mungkin memiliki kunci berbeda)
• Kuki cf_clearance yang hilang atau diatur dengan salah
• Sidik jari browser mencurigakan yang terdeteksi oleh Cloudflare
• Ketidaksesuaian proxy (jika proxy digunakan)

Langkah-langkah pemecahan masalah:

1. Pastikan CapSolver mengembalikan token yang valid.
2. Pastikan Puppeteer mengatur kuki untuk domain yang benar.
3. Pastikan URL yang diakses sesuai dengan websiteURL yang digunakan saat membuat tugas.
4. Jika masalah berlanjut, pertimbangkan untuk mengaktifkan proxy atau menyesuaikan pengaturan sidik jari browser.