如何解决 DataDome 403 Forbidden Error in Web Scraping

遇到DataDome 403 Forbidden错误是网页抓取者常见的挑战。DataDome是一种强大的机器人保护服务，使用先进技术识别和阻止自动化流量。本指南将提供解决DataDome 403 Forbidden错误的全面解决方案，确保您能够不间断地访问所需内容。

目录

什么是DataDome和403 Forbidden错误

DataDome 403 Forbidden错误在网页抓取中的原因

如何解决DataDome 403 Forbidden错误

使用Capsolver解决403 Forbidden错误

使用高质量代理

修改设备指纹

监控并调整设置

结论

什么是DataDome和403 Forbidden错误

DataDome 是一个领先的机器人保护和网络安全解决方案，旨在实时检测和缓解自动化威胁。

DataDome的关键特性包括：

AI驱动的检测：使用先进的机器学习模型区分人类和机器人流量。
实时保护：持续监控和保护Web应用程序、移动应用程序和API。
全面覆盖：保护包括网站、移动应用程序和API在内的各种数字接触点免受自动化威胁。
自适应安全：不断演变以应对新的和新兴的威胁。

了解403 Forbidden错误

403 Forbidden错误是一个HTTP状态码，表示服务器理解请求但拒绝授权。当涉及DataDome时，此错误通常表示请求被识别为潜在的恶意或来自自动化来源，并且对请求资源的访问被阻止。

是否在反复失败于解决恼人的验证码？

发现无缝自动验证码解决方案，使用Capsolver AI驱动的自动网页解锁技术！

领取您的奖励码以获得顶级验证码解决方案；CapSolver: WEBS。兑换后，每次充值可获得额外5%的奖励，无限次。

DataDome 403 Forbidden错误在网页抓取中的原因

要解决问题，我们首先必须了解其原因。通常，DataDome 403 Forbidden错误发生在DataDome的安全措施检测并阻止网页抓取活动时。这可能是由于以下原因：

IP封锁
当您频繁抓取网页内容时，您的IP地址可能会被检测并封锁。使用低质量的代理IP也可能导致您的访问请求被403状态码拒绝。为减轻这种情况，请考虑使用高质量的旋转代理来分散您的请求，避免被检测到。
设备环境检测
DataDome监控您使用的设备环境，包括GPU信息和Canvas指纹。如果您的设备环境看起来异常，这可能导致您的访问请求被403状态码拒绝。此外，如果您的设备执行任何可疑活动，DataDome可能会永久禁止您的设备。为了避免检测，请确保您的设备环境模拟典型用户设置，并避免任何异常配置或行为。
无头浏览器检测
DataDome检查您的浏览器环境以识别无头浏览器。如果您使用Puppeteer或Selenium操作无头浏览器，DataDome会将其识别为异常环境。为绕过此检测，您可以尝试使您的无头浏览器看起来像普通浏览器，通过修改浏览器设置和行为，例如启用JavaScript、设置用户代理字符串、管理Cookie和本地存储等。

如何解决DataDome 403 Forbidden错误

遇到DataDome 403 Forbidden错误可能会阻止您访问所需数据，这可能使网页抓取变得非常令人沮丧。因此，在了解了您为什么会遇到这些问题之后，我们将概述一些有效的方法来解决该问题，并从最有效和最简单的方法开始。

1. 使用Capsolver解决403 Forbidden错误

通常推荐的解决验证码的方法是使用第三方解决方案，这可以通过API植入到您的日常工作流程中，使403错误几乎不可见。最好的解决方案之一是CapSolver，它是一种基于机器学习的验证码识别解决方案，可以在3-5秒内轻松解决DataDome和恼人的403问题。

使用CapSolver解决验证码，Python示例代码如下：

# -*- coding: utf-8 -*-
import requests
import time


api_key = "API_KEY"     # TODO: your api key
proxy = "host:port:name:pass"   # TODO: your proxy
page_url = "https://www.targetsite.com/"   # TODO: target site
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"


def get_token(captcha_url):
    print("call capsolver...")
    data = {
        "clientKey": api_key,
        "task": {
            "type": 'DatadomeSliderTask',
            "websiteURL": page_url,
            "captchaUrl": captcha_url,
            "userAgent": user_agent,
            "proxy": proxy,
        },
    }
    uri = 'https://api.capsolver.com/createTask'
    res = requests.post(uri, json=data)
    resp = res.json()
    task_id = resp.get('taskId')
    if not task_id:
        print("create task error:", res.text)
        return

    while True:
        time.sleep(1)
        data = {"clientKey": api_key, "taskId": task_id}
        res = requests.post('https://api.capsolver.com/getTaskResult', json=data)
        resp = res.json()
        status = resp.get('status', '')
        if status == "ready":
            cookie = resp['solution']['cookie']
            cookie = cookie.split(';')[0].split('=')[1]
            print("successfully got cookie:", cookie)
            return cookie
        if status == "failed" or resp.get("errorId"):
            print("failed to get cookie:", res.text)
            return
        print('solve datadome status:', status)


def format_proxy(px: str):
    if '@' not in px:
        sp = px.split(':')
        if len(sp) == 4:
            px = f'{sp[2]}:{sp[3]}@{sp[0]}:{sp[1]}'
    return {"http": f"http://{px}", "https": f"http://{px}"}


def request_site(cookie):
    headers = {
        'content-type': 'application/json',
        'user-agent': user_agent,
        'accept': 'application/json, text/plain, */*',
        'sec-fetch-site': 'same-origin',
        'sec-fetch-mode': 'cors',
        'sec-fetch-dest': 'empty',
        'referer': page_url,
        'accept-encoding': 'gzip, deflate, br, zstd',
        'accept-language': 'en-US,en;q=0.9',
    }
    if cookie:
        headers['cookie'] = "datadome=" + cookie

    print("request url:", page_url)
    response = requests.get(page_url, headers=headers, proxies=format_proxy(proxy))
    print("response status_code:", response.status_code)
    if response.status_code == 403:
        resp = response.json()
        print("captcha url: ", resp['url'])
        return resp['url']
    else:
        print('cookie is good!')
        return


def main():
    url = request_site("")
    if not url:
        return
    if 't=bv' in url:
        print("blocked captcha url is not supported")
        return
    cookie = get_token(url)
    if not cookie:
        return
    request_site(cookie)


if __name__ == '__main__':
    main()

2. 使用高质量代理

避免低质量代理：使用低质量或免费的代理很容易被DataDome检测并封锁。投资高质量的旋转代理，可以分散您的请求到多个IP地址，以避免被检测到。同时通过定期更换IP地址可以防止任何单个IP因可疑活动而被标记。

3. 修改设备指纹

伪装设备信息：通过修改GPU信息、Canvas指纹和其他硬件细节来伪装您的设备指纹，使其更像普通用户。
避免使用无头浏览器：无头浏览器很容易被检测到。如果必须使用它们，请配置使其看起来像有图形界面的浏览器。这包括设置正确的用户代理字符串、启用图像显示，并确保JavaScript完全正常运行。