Cách giải quyết Thách thức Cloudflare bằng Python

TL;DR

Chuẩn xác 5 giây của Cloudflare có thể làm gián đoạn các quy trình tự động hóa bằng Python bằng cách chặn các yêu cầu ban đầu. Hướng dẫn này minh họa cách xử lý Chuẩn xác Cloudflare một cách lập trình bằng Python và CapSolver. Kết hợp proxy được cấu hình đúng, định danh TLS và AntiCloudflareTask của CapSolver, bạn có thể nhận được các headers và cookies cần thiết để truy cập trang được bảo vệ một cách đáng tin cậy.

Giới thiệu

Các cơ chế bảo vệ của Cloudflare được sử dụng rộng rãi để giảm thiểu lưu lượng gây hại và truy cập tự động. Một cơ chế phổ biến là Chuẩn xác 5 giây của Cloudflare, kiểm tra hành vi trình duyệt trước khi cấp quyền truy cập vào trang web. Đối với các nhà phát triển xây dựng các quy trình thu thập dữ liệu, giám sát hoặc tự động hóa bằng Python, chuẩn xác này có thể dẫn đến các phản hồi 403 lặp lại và làm gián đoạn luồng làm việc.

Trong bài viết này, chúng tôi hướng dẫn bạn một cách tiếp cận thực tế bằng Python để xử lý Chuẩn xác Cloudflare. Sử dụng API của CapSolver cùng với client HTTP có khả năng TLS, bạn sẽ học cách phát hiện chuẩn xác, yêu cầu giải pháp và hoàn thành yêu cầu theo sau đã xác minh thành công.

⚙️ Yêu cầu cần thiết

• Proxy hoạt động
• Python đã cài đặt
• Mã API của CapSolver

🤖 Bước 1: Cài đặt các gói cần thiết

Nhận mã thưởng CapSolver

Tăng ngân sách tự động hóa của bạn ngay lập tức!
Sử dụng mã thưởng CAPN khi nạp tiền vào tài khoản CapSolver để nhận thêm 5% thưởng cho mỗi lần nạp — không giới hạn.
Nhận mã thưởng ngay lập tức trong Bảng điều khiển CapSolver
.
Thực hiện các lệnh sau để cài đặt các gói cần thiết:

pip install capsolver
pip install os
pip install requests

👨‍💻 Bước 2: Mã Python để giải Chuẩn xác Cloudflare 5 giây

Dưới đây là đoạn mã mẫu Python để thực hiện công việc:

# -*- coding: utf-8 -*-
import requests
import time
import tls_client

# TODO: Mã API của bạn
API_KEY = ""
proxy = ""

# TODO: URL trang web của bạn:
page_url = ""


def call_capsolver():
    data = {
        "clientKey": API_KEY,
        "task": {
            "type": 'AntiCloudflareTask',
            "websiteURL": page_url,
            "proxy": proxy,
        }
    }
    uri = 'https://api.capsolver.com/createTask'
    res = requests.post(uri, json=data)
    resp = res.json()
    task_id = resp.get('taskId')
    if not task_id:
        print("không nhận được taskId:", res.text)
        return
    print('tạo taskId:', task_id)

    while True:
        time.sleep(1)
        data = {
            "clientKey": API_KEY,
            "taskId": task_id
        }
        response = requests.post('https://api.capsolver.com/getTaskResult', json=data)
        resp = response.json()
        status = resp.get('status', '')
        if status == "ready":
            print("thành công => ", response.text)
            return resp.get('solution')
        if status == "failed" or resp.get("errorId"):
            print("thất bại! => ", response.text)
            return


def request_site(solution):
    session = tls_client.Session(
        client_identifier="chrome_120",
        random_tls_extension_order=True
    )
    return session.get(
        page_url,
        headers=solution.get('headers'),
        cookies=solution.get('cookies'),
        proxy=proxy,
    )


def main():
    solution = {
        "headers": {
            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
            "upgrade-insecure-requests": "1",
            "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
            "sec-fetch-site": "none",
            "sec-fetch-mode": "navigate",
            "sec-fetch-user": "?1",
            "sec-fetch-dest": "document",
            "accept-encoding": "gzip, deflate, br",
            "accept-language": "en-US,en;q=0.9",
        }
    }
    # Yêu cầu đầu tiên (kiểm tra proxy của bạn):
    res = request_site(solution)
    print('1. Mã trạng thái phản hồi:', res.status_code)
    if res.status_code != 403:
        print("proxy của bạn tốt và không bị chuẩn xác Cloudflare")
        return
    elif 'window._cf_chl_opt' not in res.text:
        print('==== proxy bị chặn ==== ')
        return

    # Gọi CapSolver:
    solution = call_capsolver()
    if not solution:
        return

    # Yêu cầu thứ hai (xác minh giải pháp):
    res = request_site(solution)
    print('2. Mã trạng thái phản hồi:', res.status_code)


if __name__ == '__main__':
    main()

⚠️ Thay đổi các biến này

• PROXY: Cập nhật với chi tiết proxy của bạn. Định dạng nên là http://username:password@ip:port.
• capsolver.api_key: Nhận mã API của bạn từ Bảng điều khiển CapSolver.
• PAGE_URL: Thay thế bằng URL của trang web mà bạn muốn giải chuẩn xác CloudFlare.

Chuẩn xác Cloudflare trông như thế nào

Trong khi đó, nếu bạn muốn kiểm tra các script của mình về đặc điểm bot, công cụ Phát hiện Bot của BrowserScan có thể giúp bạn xác định và tinh chỉnh hành vi giống bot trong các script của mình.

Kết luận

Việc xử lý chuẩn xác Cloudflare trong Python đòi hỏi hơn là một yêu cầu HTTP thông thường. Bằng cách tích hợp CapSolver với client có khả năng TLS và proxy ổn định, các nhà phát triển có thể hoàn thành bước xác minh của Cloudflare một cách lập trình và tiếp tục luồng yêu cầu bình thường.

Cách tiếp cận này đặc biệt hữu ích cho các ứng dụng phụ thuộc vào việc truy cập liên tục vào tài nguyên được bảo vệ bởi Cloudflare, như công cụ giám sát, dịch vụ tổng hợp dữ liệu và quy trình kiểm thử tự động. Với cấu hình và xử lý lỗi phù hợp, quy trình có thể được tự động hóa từ đầu đến cuối trong khi vẫn ổn định và mở rộng.

Câu hỏi thường gặp

1. Chuẩn xác Cloudflare 5 giây là gì?

Chuẩn xác 5 giây của Cloudflare là bước xác minh trình duyệt kiểm tra xem người truy cập có hành vi giống trình duyệt thực sự trước khi cho phép truy cập. Nó thường xuất hiện dưới dạng trang trung gian tạm thời và có thể trả về các phản hồi HTTP 403 cho các script tự động.

2. Tại sao cần client có khả năng TLS?

Cloudflare đánh giá dấu vân tay TLS, thứ tự phần mở rộng TLS và hành vi giống trình duyệt. Các thư viện như tls_client giúp mô phỏng các đặc điểm TLS của trình duyệt thực sự, điều này rất quan trọng để vượt qua yêu cầu ban đầu và xác minh giải pháp được trả về bởi CapSolver.

3. Bạn có luôn cần proxy không?

Proxy được khuyến nghị mạnh mẽ. Proxy sạch và nhất quán giảm khả năng bị chặn ngay lập tức và đảm bảo rằng yêu cầu giải quyết chuẩn xác và yêu cầu xác minh đều đến từ cùng một địa chỉ IP.

4. CapSolver trả về gì sau khi giải chuẩn xác?

CapSolver cung cấp một giải pháp chứa headers và cookies đại diện cho phiên trình duyệt đã xác minh. Những thông tin này phải được sử dụng lại trong các yêu cầu tiếp theo để truy cập trang đích thành công.

5. Cách tiếp cận này có thể mở rộng cho tự động hóa quy mô lớn không?

Có. Quy trình tương tự có thể tích hợp vào các hệ thống Python quy mô lớn bằng cách thêm hàng đợi tác vụ, logic thử lại và luân chuyển proxy, làm cho nó phù hợp cho các tình huống tự động hóa quy mô lớn và truy cập dữ liệu.