Cách giải quyết CAPTCHA trong BrowserCloud với API CapSolver

BrowserCloud là một nền tảng tự động hóa trình duyệt dựa trên đám mây, hiệu năng cao, được thiết kế cho tự động hóa web có khả năng mở rộng và phân tán. Nó cho phép các nhà phát triển chạy hàng trăm trình duyệt Chrome không có đầu song song để sử dụng trong các trường hợp như thu thập dữ liệu web, kiểm thử tự động, giám sát SEO, trích xuất dữ liệu và tạo nội dung. Với hỗ trợ tích hợp sẵn cho Puppeteer, Selenium và Playwright, BrowserCloud đơn giản hóa các quy trình tự động hóa phức tạp bằng cách cung cấp luân chuyển proxy, quản lý phiên và giám sát thời gian thực.

Tuy nhiên, CAPTCHA, các hệ thống phát hiện bot và các biện pháp chống tự động hóa nâng cao thường làm gián đoạn các tác vụ tự động hóa trình duyệt này bằng cách yêu cầu các tương tác giống như con người để xác minh tính xác thực. Những rào cản như vậy có thể chặn các tập lệnh thu thập dữ liệu, làm chậm các đường dẫn kiểm thử và làm hỏng việc gửi biểu mẫu tự động, dẫn đến lãng phí thời gian và giảm hiệu quả.

CapSolver, một dịch vụ bỏ qua phát hiện CAPTCHA và bot được hỗ trợ bởi AI, cung cấp một giải pháp đáng tin cậy. Nó phát hiện và giải quyết theo chương trình một loạt các loại CAPTCHA — bao gồm reCAPTCHA v2 / v3, Cloudflare Turnstile và các câu đố dựa trên hình ảnh — đảm bảo các quy trình tự động hóa trình duyệt không bị gián đoạn.

Trong bài viết này, chúng tôi sẽ cung cấp hướng dẫn tích hợp từng bước để kết nối CapSolver với BrowserCloud bằng Puppeteer, cùng với một ví dụ mã hoạt động đầy đủ. Bằng cách làm theo hướng dẫn này, bạn sẽ có thể bỏ qua các thách thức CAPTCHA một cách liền mạch, đánh bại các biện pháp chống bot và tối đa hóa hiệu quả của các tập lệnh tự động hóa của bạn.

Tổng quan về BrowserCloud & Trường hợp sử dụng

BrowserCloud là một nền tảng đa năng quản lý một lưới các trình duyệt Chrome đầy đủ tính năng trên cơ sở hạ tầng hiệu năng cao, loại bỏ sự cần thiết phải xử lý các phụ thuộc trình duyệt cục bộ, rò rỉ bộ nhớ hoặc bảo trì cơ sở hạ tầng. Các tính năng chính của nó bao gồm:

• Khả năng mở rộng: Chạy tới 100 trình duyệt không có đầu cùng lúc để xử lý song song.
• Hỗ trợ khung: Tương thích với Puppeteer, Selenium và Playwright để tự động hóa linh hoạt.
• Quản lý Proxy: Cung cấp luân chuyển proxy thông minh và proxy cao cấp để tránh phát hiện và cấm IP.
• Tạo nội dung: Tạo PDF, ảnh chụp màn hình và hình ảnh từ các trang web hoặc HTML tùy chỉnh qua API.
• Giám sát thời gian thực: Cung cấp các công cụ để quản lý phiên và gỡ lỗi.

Trường hợp sử dụng

BrowserCloud hỗ trợ nhiều tác vụ tự động hóa, bao gồm:

• Thu thập dữ liệu web: Trích xuất dữ liệu từ các trang web để nghiên cứu thị trường, giám sát giá cả hoặc tổng hợp nội dung, tận dụng hỗ trợ proxy để tránh bị chặn.
• Kiểm thử tự động: Thực hiện kiểm thử đầu cuối trên nhiều trình duyệt và cấu hình để đảm bảo độ tin cậy của ứng dụng.
• Hiển thị nội dung: Tạo hàng nghìn báo cáo PDF, hóa đơn hoặc ảnh chụp màn hình tự động từ URL cho mục đích báo cáo hoặc tiếp thị.
• Tự động hóa tác vụ: Tự động hóa các tác vụ lặp đi lặp lại như gửi biểu mẫu, đăng nhập tài khoản hoặc xác thực liên kết.

Các trường hợp sử dụng này thường gặp phải CAPTCHA, khiến việc tích hợp CapSolver trở nên cần thiết để tự động hóa không bị gián đoạn.

Tại sao cần giải quyết CAPTCHA

Các trang web triển khai CAPTCHA và các biện pháp phòng thủ chống bot để bảo vệ chống lại truy cập tự động, thư rác và các hoạt động độc hại, gây ra một thách thức đáng kể đối với các tác vụ tự động hóa như thu thập dữ liệu web. CAPTCHA yêu cầu các tương tác như đánh dấu vào hộp kiểm hoặc giải các câu đố hình ảnh, điều này có thể tạm dừng các tập lệnh BrowserCloud nếu không được giải quyết. Các loại CAPTCHA phổ biến bao gồm:

Đối với việc thu thập dữ liệu web và các tác vụ tự động hóa khác, CAPTCHA có thể ngăn chặn quyền truy cập vào dữ liệu quan trọng, yêu cầu can thiệp thủ công làm mất mục đích của tự động hóa. Mặc dù việc luân chuyển proxy của BrowserCloud giúp giảm thiểu việc kích hoạt CAPTCHA, nhưng nó có thể không loại bỏ hoàn toàn chúng. API của CapSolver cung cấp một giải pháp đáng tin cậy bằng cách giải quyết CAPTCHA theo chương trình, cho phép các tập lệnh BrowserCloud bỏ qua các rào cản này và tiếp tục trích xuất dữ liệu hoặc thực hiện các tác vụ một cách liền mạch.

Cách sử dụng CapSolver để xử lý CAPTCHA

API của CapSolver có thể được tích hợp với BrowserCloud trong một tập lệnh Puppeteer / Playwright / Selenium để xử lý CAPTCHA hiệu quả. Quá trình này bao gồm:

1. Phát hiện CAPTCHA: Xác định sự hiện diện của CAPTCHA trên trang, chẳng hạn như một phần tử reCAPTCHA.
2. Trích xuất thông tin: Truy xuất các chi tiết cần thiết, như khóa trang web và URL trang, cần thiết để giải quyết CAPTCHA.
3. Gọi API của CapSolver: Gửi yêu cầu đến CapSolver để tạo tác vụ và lấy mã thông báo giải pháp.
4. Tiêm giải pháp: Chèn mã thông báo vào trang để bỏ qua CAPTCHA.
5. Tiếp tục tự động hóa: Tiến hành các tác vụ như gửi biểu mẫu hoặc thu thập dữ liệu.

Việc tích hợp này tận dụng cơ sở hạ tầng trình duyệt có khả năng mở rộng của BrowserCloud và khả năng giải quyết CAPTCHA do AI điều khiển của CapSolver để đảm bảo quy trình tự động hóa mạnh mẽ.

Ví dụ mã đầy đủ + Giải thích từng bước

Dưới đây là một ví dụ mã đầy đủ minh họa cách tích hợp CapSolver với BrowserCloud để giải quyết reCAPTCHA v2 trên một trang demo. Mã được dựa trên tập lệnh được cung cấp, với những cải tiến nhỏ để rõ ràng và đáng tin cậy hơn.

Điều kiện tiên quyết

Cài đặt các phụ thuộc cần thiết:

npm install puppeteer node-fetch@2 dotenv

Tạo tệp .env với khóa API của bạn:

BROWSER_CLOUD_TOKEN=your_browsercloud_token
CAPSOLVER_API_KEY=your_capsolver_api_key

Ví dụ mã

import puppeteer from 'puppeteer';
import fetch from 'node-fetch';
import dotenv from 'dotenv';
dotenv.config();

const BROWSER_CLOUD_TOKEN = process.env.BROWSER_CLOUD_TOKEN;
const CAPSOLVER_API_KEY = process.env.CAPSOLVER_API_KEY;

async function solveCaptcha(sitekey, pageUrl) {
    const createTaskRes = await fetch('https://api.capsolver.com/createTask', {
        method: 'POST',
        headers: { 'Content-Type': 'application/json' },
        body: JSON.stringify({
            clientKey: CAPSOLVER_API_KEY,
            task: {
                type: 'ReCaptchaV2TaskProxyless',
                websiteURL: pageUrl,
                websiteKey: sitekey
            }
        })
    });
    const createTask = await createTaskRes.json();
    if (!createTask.taskId) throw new Error(`CapSolver: Failed to create task: ${JSON.stringify(createTask)}`);

    let solution = null;
    while (true) {
        await new Promise(resolve => setTimeout(resolve, 2000));
        const resultRes = await fetch('https://api.capsolver.com/getTaskResult', {
            method: 'POST',
            headers: { 'Content-Type': 'application/json' },
            body: JSON.stringify({
                clientKey: CAPSOLVER_API_KEY,
                taskId: createTask.taskId
            })
        });
        const result = await resultRes.json();
        if (result.status === 'ready') {
            solution = result.solution.gRecaptchaResponse;
            break;
        }
        if (result.status === 'failed') throw new Error(`CapSolver: Failed to solve: ${JSON.stringify(result)}`);
    }
    if (!solution) throw new Error('CapSolver: Timeout waiting for solution');
    return solution;
}

(async () => {
    try {
        const browser = await puppeteer.connect({
            browserWSEndpoint: `wss://chrome-v2.browsercloud.io?token=${BROWSER_CLOUD_TOKEN}`
        });

        const page = await browser.newPage();
        await page.goto('https://recaptcha-demo.appspot.com/recaptcha-v2-checkbox.php', { waitUntil: 'networkidle2' });

        const sitekey = await page.$eval('.g-recaptcha', el => el.getAttribute('data-sitekey'));
        console.log('Sitekey:', sitekey);

        const solution = await solveCaptcha(sitekey, page.url());
        console.log('CAPTCHA solution:', solution);

        await page.evaluate(token => {
            const textarea = document.getElementById('g-recaptcha-response');
            if (textarea) {
                textarea.value = token;
                textarea.innerHTML = token;
                textarea.style.display = '';
                textarea.dispatchEvent(new Event('input', { bubbles: true }));
            }
        }, solution);

        const submitBtn = await page.$('body > main > form > fieldset > button');
        if (submitBtn) {
            await Promise.all([
                page.waitForNavigation({ waitUntil: 'networkidle2' }),
                submitBtn.click()
            ]);
            console.log('Submit button clicked!');
        } else {
            console.log('Submit button not found!');
        }

        console.log('Page content after submission:', await page.content());

        await browser.close();
    } catch (error) {
        console.error('Error:', error);
    }
})();

Giải thích từng bước

Lưu ý: Mã gốc đã sử dụng page.waitForTimeout(3000) sau khi nhấp vào nút gửi, điều này có thể không chờ điều hướng một cách đáng tin cậy. Ví dụ này cải thiện nó bằng cách sử dụng page.waitForNavigation() để đảm bảo trang đã tải đầy đủ sau khi gửi.

Hướng dẫn trình diễn

Phần này mô tả việc thực thi tập lệnh trên một trang demo với hộp kiểm reCAPTCHA v2:

1. Kết nối với BrowserCloud: Tập lệnh thiết lập kết nối với một phiên bản trình duyệt BrowserCloud bằng Puppeteer.
2. Điều hướng đến trang Demo: Nó tải trang demo reCAPTCHA v2 (https://recaptcha-demo.appspot.com/recaptcha-v2-checkbox.php).
3. Phát hiện và trích xuất khóa trang web: Tập lệnh xác định phần tử reCAPTCHA và trích xuất khóa trang web của nó.
4. Giải quyết CAPTCHA: Nó gửi khóa trang web và URL trang đến CapSolver, nhận được mã thông báo giải pháp sau khi kiểm tra.
5. Tiêm mã thông báo: Mã thông báo được tiêm vào vùng văn bản g-recaptcha-response, mô phỏng việc xác minh CAPTCHA thành công.
6. Gửi biểu mẫu: Tập lệnh nhấp vào nút gửi, kích hoạt việc gửi biểu mẫu.
7. Xác minh thành công: Sau khi điều hướng, nội dung trang được ghi lại, hiển thị việc gửi thành công (ví dụ: thông báo xác nhận).

Trong thực tế, bạn sẽ thấy trình duyệt điều hướng đến trang demo, hộp kiểm reCAPTCHA được đánh dấu tự động và biểu mẫu được gửi thành công, tất cả đều không cần can thiệp thủ công.

Phần Câu hỏi thường gặp

Kết luận

Việc tích hợp CapSolver với BrowserCloud tạo ra sự kết hợp mạnh mẽ để tự động hóa các tác vụ web gặp phải CAPTCHA. Việc giải quyết CAPTCHA do AI điều khiển của CapSolver đảm bảo rằng các tập lệnh Puppeteer của bạn trên BrowserCloud có thể bỏ qua các biện pháp chống bot, trong khi cơ sở hạ tầng có thể mở rộng và hỗ trợ proxy của BrowserCloud tăng cường độ tin cậy của tự động hóa. Điều này đặc biệt có giá trị đối với việc thu thập dữ liệu web, kiểm thử tự động và tạo nội dung, nơi CAPTCHA là những trở ngại phổ biến.

Để bắt đầu, hãy đăng ký BrowserCloud và CapSolver, lấy khóa API của bạn và thực hiện ví dụ mã được cung cấp. Khám phá tài liệu CapSolver và tài liệu BrowserCloud để biết các tính năng nâng cao và các loại tác vụ bổ sung. Hãy thử tích hợp này trong dự án tự động hóa tiếp theo của bạn và trải nghiệm quy trình làm việc liền mạch, không bị gián đoạn!

Tiền thưởng cho người dùng Browser: Sử dụng mã khuyến mãi BROWSERCLOUD khi nạp tiền vào tài khoản CapSolver của bạn và nhận được khoản tín dụng thưởng 6% độc quyền — không giới hạn, không hết hạn.

Trình duyệt và công cụ được hỗ trợ

• BrowserCloud: Hỗ trợ Puppeteer, Selenium và Playwright, chạy trình duyệt Chrome.

CapSolver: Tương thích với bất kỳ client nào hỗ trợ HTTP, bao gồm cả tiện ích mở rộng trình duyệt cho Chrome và Firefox.