
Ethan Collins
Pattern Recognition Specialist

CAPTCHA Turnstile Cloudflare merupakan kendala besar bagi crawler web dan alat otomatisasi. Sebagai fitur keamanan, hal ini memastikan bahwa permintaan yang dilakukan ke situs web adalah sah, mencegah bot berbahaya mengakses konten yang dilindungi. Namun, untuk tugas otomatisasi dan scraping web yang sah, menyelesaikan CAPTCHA Turnstile Cloudflare sangat penting untuk menjaga alur kerja tanpa gangguan.
Dalam panduan ini, kita akan menjelajahi strategi untuk menangani CAPTCHA Turnstile Cloudflare dalam crawling web dan membahas teknik untuk mengotomatiskan solusinya menggunakan Puppeteer dan CapSolver di Python.
CAPTCHA Turnstile Cloudflare adalah mekanisme anti-bot yang canggih. Tidak seperti tantangan CAPTCHA tradisional yang mengharuskan pengguna untuk menyelesaikan teka-teki atau mengklik gambar, Turnstile menggunakan pemeriksaan keamanan yang tidak terlihat untuk mengidentifikasi apakah permintaan berasal dari bot atau pengguna nyata tanpa mengganggu pengalaman pengguna.
CAPTCHA ini menggunakan kombinasi faktor seperti:
Bagi crawler web dan scraper, CAPTCHA Turnstile dapat memblokir skrip Anda dari menyelesaikan tugasnya. Untuk melanjutkan crawling secara efisien, Anda harus mengotomatiskan proses penyelesaian CAPTCHA ini.
Klaim Kode Bonus Anda untuk solusi CAPTCHA teratas; CapSolver: WEBS. Setelah menukarkannya, Anda akan mendapatkan bonus tambahan 5% setelah setiap pengisian ulang, Tidak Terbatas
CAPTCHA Turnstile Cloudflare dirancang untuk menjadi tangguh terhadap sebagian besar upaya otomatisasi umum. Scraper web sering kali menghadapi CAPTCHA ini ketika mencoba mengakses konten yang dilindungi, yang mengakibatkan akses ditolak atau pengumpulan data tidak lengkap. Menyelesaikan tantangan ini secara manual tidak layak untuk scraping skala besar, sehingga otomatisasi menjadi penting.
Pendekatan umum untuk menyelesaikan CAPTCHA Turnstile Cloudflare meliputi:
Mari kita jelajahi alat yang dapat Anda gunakan untuk mencapai hal ini.
Untuk menyelesaikan CAPTCHA Turnstile Cloudflare dalam crawler web Anda, Anda memerlukan kombinasi alat scraping, proxy, dan layanan pemecahan CAPTCHA. Berikut adalah rinciannya:
Perpustakaan Scraping Web:
Proxy:
Layanan Pemecahan CAPTCHA:
Dalam contoh ini, kita akan menunjukkan cara menyelesaikan CAPTCHA Turnstile Cloudflare menggunakan Puppeteer dan CapSolver.
Pastikan Anda telah menginstal hal berikut:
npm install puppeteernpm install axios (untuk membuat permintaan API)const puppeteer = require('puppeteer');
const axios = require('axios');
const clientKey = 'your-client-key-here'; // Ganti dengan kunci klien CapSolver Anda
const websiteURL = 'https://example.com'; // Ganti dengan URL situs web target Anda
const websiteKey = 'your-site-key-here'; // Ganti dengan kunci situs dari situs web target
// Fungsi untuk membuat tugas untuk menyelesaikan CAPTCHA Turnstile
async function createTask() {
const response = await axios.post('https://api.capsolver.com/createTask', {
clientKey: clientKey,
task: {
type: "AntiTurnstileTaskProxyLess",
websiteURL: websiteURL,
websiteKey: websiteKey
}
}, {
headers: {
'Content-Type': 'application/json',
'Pragma': 'no-cache'
}
});
return response.data.taskId;
}
// Fungsi untuk mengambil hasil tugas
async function getTaskResult(taskId) {
let response;
while (true) {
response = await axios.post('https://api.capsolver.com/getTaskResult', {
clientKey: clientKey,
taskId: taskId
}, {
headers: {
'Content-Type': 'application/json'
}
});
if (response.data.status === 'ready') {
return response.data.solution;
}
console.log('Solusi belum siap, memeriksa lagi dalam 5 detik...');
await new Promise(resolve => setTimeout(resolve, 5000));
}
}
// Skrip Puppeteer utama untuk mengotomatiskan penjelajahan dan penyelesaian CAPTCHA
(async () => {
const taskId = await createTask();
const result = await getTaskResult(taskId);
let solution = result.token;
const browser = await puppeteer.launch({ headless: false });
const page = await browser.newPage();
await page.goto(websiteURL);
await page.waitForSelector('input[name="cf-turnstile-response"]');
// Masukkan token solusi CAPTCHA ke dalam formulir
await page.evaluate(solution => {
document.querySelector('input[name="cf-turnstile-response"]').value = solution;
}, solution);
// Ambil tangkapan layar halaman untuk tujuan verifikasi
await page.screenshot({ path: 'example.png' });
await browser.close();
})();
Untuk memastikan scraping berjalan lancar tanpa gangguan, penting untuk memiliki lingkungan yang dikonfigurasi dengan baik:
Browser Tanpa Kepala: Gunakan browser tanpa kepala seperti Puppeteer atau Playwright untuk meniru perilaku manusia sambil tetap ringan. Alat ini dapat menangani rendering JavaScript, pengiriman formulir, dan konten dinamis.
Rotasi Proxy: Terapkan rotasi proxy untuk menghindari pemblokiran. Proxy residensial cenderung tidak ditandai daripada proxy pusat data. Anda juga dapat mengintegrasikan penyedia proxy seperti IPRoyal untuk layanan proxy yang andal.
Manajemen Sesi: Pertahankan dan gunakan kembali sesi browser jika memungkinkan untuk menghindari menimbulkan kecurigaan dengan masuk berulang kali atau memicu mekanisme keamanan.
Pemecah CAPTCHA: Manfaatkan layanan pemecahan CAPTCHA seperti CapSolver untuk menyelesaikan tantangan CAPTCHA yang kompleks. Layanan ini menyediakan API yang menangani pemecahan CAPTCHA di balik layar, memungkinkan scraper Anda untuk melanjutkan alur kerjanya.
Menyelesaikan CAPTCHA Turnstile Cloudflare sangat penting untuk tugas crawling web yang sah yang membutuhkan akses data tanpa gangguan. Menggabungkan perpustakaan otomatisasi web seperti Puppeteer, proxy, dan pemecah CAPTCHA pihak ketiga seperti CapSolver dapat membantu Anda mengatasi tantangan ini secara efektif. Dengan alat dan strategi yang tepat, scraper Anda dapat terus mengumpulkan data secara efisien tanpa campur tangan manual.
Penting: Saat terlibat dalam scraping web, sangat penting untuk mematuhi pedoman hukum dan etika. Selalu pastikan bahwa Anda memiliki izin untuk mengikis situs web target, dan hormati file
robots.txtdan persyaratan layanan situs. CapSolver dengan tegas menentang penyalahgunaan layanan kami untuk aktivitas yang tidak sesuai. Penyalahgunaan alat otomatis untuk melewati CAPTCHA tanpa otorisasi yang tepat dapat mengakibatkan konsekuensi hukum. Pastikan aktivitas scraping Anda sesuai dengan semua hukum dan peraturan yang berlaku untuk menghindari potensi masalah.
Pahami perbedaan kunci antara Cloudflare Challenge vs Turnstile dan pelajari cara mengidentifikasi mereka untuk otomatisasi web yang sukses. Dapatkan tips ahli dan solver yang direkomendasikan.

Pelajari cara memperbaiki Cloudflare Error 1005 diakses ditolak selama web scraping. Temukan solusi seperti proksi rumah tangga, pemindaian sidik jari peramban, dan CapSolver untuk CAPTCHA. Optimalkan ekstraksi data.
