Cách giải quyết CAPTCHA khi thu thập dữ liệu web vào năm 2025

Anh Tuan
Data Science Expert
23-Jan-2025
Tại sao CAPTCHA vẫn ám ảnh chúng ta vào năm 2025
(Viết bởi người đã nhấp chuột vào 10.000 đèn giao thông để bạn không phải làm)
Các trang web trở nên thông minh hơn. CAPTCHA giờ đây phân tích mọi thứ:
- Chuột di chuyển như thế nào.
- Dấu vân tay trình duyệt của bạn.
- Bạn giải câu đố nhanh như thế nào (robot quá hiệu quả).
Nhưng đừng lo lắng - API và tiện ích mở rộng của Capsolver cũng đã phát triển.
Gặp gỡ người bạn thân mới của bạn: Capsolver
Chọn giải pháp của bạn:
- API: Dành cho các lập trình viên muốn kiểm soát hoàn toàn.
- Tiện ích mở rộng: Dành cho những người muốn nhấp vào “giải quyết” và nhâm nhi cà phê.
CAPTCHA được hỗ trợ:
✅ reCAPTCHA v2/v3
✅ Cloudflare Turnstile
✅ hCaptcha
✅ AWS WAF
✅ CAPTCHA dựa trên văn bản
Phương pháp 1: Sử dụng API của Capsolver (Dành cho lập trình viên)
Bước 1: Lấy khóa API của bạn
- Đăng ký tại Capsolver.
- Lấy
clientKey
của bạn từ bảng điều khiển.
Bước 2: Giải quyết reCAPTCHA trong 3 cuộc gọi API
bash
# Gửi tác vụ
POST https://api.capsolver.com/createTask
{
"clientKey": "YOUR_API_KEY",
"task": {
"type": "ReCaptchaV2TaskProxyless",
"websiteURL": "https://example.com",
"websiteKey": "6Le-wvkSAAAAAPBMRTvw0Q4Muexq9bi0DJwx_mJ-"
}
}
# Lấy kết quả (lặp lại cho đến khi "status": "ready")
POST https://api.capsolver.com/getTaskResult
{
"clientKey": "YOUR_API_KEY",
"taskId": "61138bb6-19fb-11ec-a9c8-0242ac110006"
}
# Sử dụng mã thông báo (gRecaptchaResponse) trong trình thu thập dữ liệu của bạn!
Phương pháp 2: Tiện ích mở rộng trình duyệt thần kỳ
Dành cho người dùng bình thường:
- Chrome: Cài đặt tại đây
- Firefox: Cài đặt tại đây
Dành cho chuyên gia tự động hóa:
- Tải xuống từ GitHub:
- Sửa đổi
config.js
:
javascript{ // Khóa API của bạn từ Capsolver apiKey: "YOUR_API_KEY", // Bật/tắt các loại CAPTCHA enabledForRecaptcha: true, enabledForCloudflare: true, enabledForAWS: true, enabledForTextCaptcha: true }
- Tải lên Puppeteer/Playwright:javascript
const browser = await puppeteer.launch({ args: ['--load-extension=./capsolver-extension'] });
Config.js: Bí quyết thành công
Cài đặt quan trọng:
enabledForCloudflare: true
: Dành cho CAPTCHA Turnstile.enabledForRecaptcha: true
: Cổ điển của Google.enabledForAWS: true
: CAPTCHA tinh vi của Amazon.enabledForTextCaptcha: true
: Câu đố “nhập các chữ cái này” theo kiểu cũ.
Mẹo: Bật tất cả nếu bạn không chắc chắn trang web sử dụng CAPTCHA nào.
Ví dụ mã thực tế
Trình thu thập dữ liệu Python với API Capsolver:
python
import requests
def solve_recaptcha():
task_url = "https://api.capsolver.com/createTask"
task_data = {
"clientKey": "YOUR_API_KEY",
"task": {
"type": "ReCaptchaV2TaskProxyless",
"websiteURL": "https://example.com",
"websiteKey": "6Le-wvkSAAAAAPBMRTvw0Q4Muexq9bi0DJwx_mJ-"
}
}
response = requests.post(task_url, json=task_data).json()
task_id = response["taskId"]
# Kiểm tra kết quả
while True:
result = requests.post("https://api.capsolver.com/getTaskResult", json={"clientKey": "YOUR_API_KEY", "taskId": task_id}).json()
if result["status"] == "ready":
return result["solution"]["gRecaptchaResponse"]
Hướng dẫn khắc phục sự cố “Tại sao điều này không hoạt động?!”
- Vấn đề: “Không có CAPTCHA nào được giải quyết!”
- Khắc phục: Kiểm tra
config.js
- bạn đã bật đúng loại CAPTCHA chưa?
- Khắc phục: Kiểm tra
- Vấn đề: “API trả về ‘khóa API không hợp lệ’!”
- Khắc phục: Sao chép-dán khóa của bạn từ bảng điều khiển của Capsolver một lần nữa.
- Vấn đề: “Cloudflare vẫn chặn tôi!”
- Khắc phục: Xoay proxy, xoay dấu vân tay + làm chậm trình thu thập dữ liệu của bạn.
Thu thập dữ liệu vui vẻ - và mong rằng CAPTCHA luôn ở bên bạn! 😎
Tuyên bố Tuân thủ: Thông tin được cung cấp trên blog này chỉ mang tính chất tham khảo. CapSolver cam kết tuân thủ tất cả các luật và quy định hiện hành. Việc sử dụng mạng lưới CapSolver cho các hoạt động bất hợp pháp, gian lận hoặc lạm dụng là hoàn toàn bị cấm và sẽ bị điều tra. Các giải pháp giải captcha của chúng tôi nâng cao trải nghiệm người dùng trong khi đảm bảo tuân thủ 100% trong việc giúp giải quyết các khó khăn về captcha trong quá trình thu thập dữ liệu công khai. Chúng tôi khuyến khích việc sử dụng dịch vụ của chúng tôi một cách có trách nhiệm. Để biết thêm thông tin, vui lòng truy cập Điều khoản Dịch vụ và Chính sách Quyền riêng tư.
Thêm

Các User Agent Tốt Nhất để Scrape Web & Cách Sử Dụng Chúng
Hướng dẫn về các user agent tốt nhất để scrape web và cách sử dụng hiệu quả để tránh bị phát hiện. Khám phá tầm quan trọng của user agent, các loại và cách triển khai chúng để scrape web liền mạch và không bị phát hiện.

Anh Tuan
07-Mar-2025

Cách giải quyết thử thách Cloudflare JS để thu thập dữ liệu web và tự động hóa
Tìm hiểu cách giải quyết thử thách JavaScript của Cloudflare để thu thập dữ liệu web và tự động hóa liền mạch. Khám phá các chiến lược hiệu quả, bao gồm sử dụng trình duyệt không đầu, luân phiên proxy, và tận dụng khả năng giải quyết CAPTCHA nâng cao của CapSolver.

Anh Tuan
05-Mar-2025

Dấu vân tay TLS của Cloudflare: Nó là gì và cách giải quyết
Tìm hiểu về việc Cloudflare sử dụng dấu vân tay TLS để bảo mật, cách nó phát hiện và chặn bot, và khám phá các phương pháp hiệu quả để giải quyết vấn đề này cho các tác vụ thu thập dữ liệu web và duyệt web tự động.

Anh Tuan
28-Feb-2025

Tại sao tôi cứ bị yêu cầu xác minh rằng tôi không phải là người máy?
Tìm hiểu lý do tại sao Google yêu cầu bạn xác minh rằng bạn không phải là robot và khám phá các giải pháp như sử dụng API của CapSolver để giải quyết các thử thách CAPTCHA một cách hiệu quả.

Anh Tuan
27-Feb-2025

Cách trích xuất dữ liệu từ trang web được bảo vệ bởi Cloudflare
Trong hướng dẫn này, chúng ta sẽ khám phá các kỹ thuật đạo đức và hiệu quả để trích xuất dữ liệu từ các trang web được bảo vệ bởi Cloudflare.

Anh Tuan
20-Feb-2025

Tại sao các trang web lại nghĩ tôi là bot? Và cách giải quyết chúng
Hiểu tại sao các trang web đánh dấu bạn là bot và cách tránh bị phát hiện. Các tác nhân chính bao gồm các thử thách CAPTCHA, IP đáng ngờ và hành vi trình duyệt bất thường.

Anh Tuan
20-Feb-2025