CapSolver を使用した AWS WAF の課題解決方法：2025年完全ガイド

import requests
import re
import time

CAPSOLVER_API_KEY = "YOUR_CAPSOLVER_API_KEY"
CAPSOLVER_CREATE_TASK_ENDPOINT = "https://api.capsolver.com/createTask"
CAPSOLVER_GET_TASK_RESULT_ENDPOINT = "https://api.capsolver.com/getTaskResult"

WEBSITE_URL = "https://efw47fpad9.execute-api.us-east-1.amazonaws.com/latest" # 例のURL

def solve_aws_waf_captcha_proxyless(website_url, capsolver_api_key):
    client = requests.Session()
    response = client.get(website_url)
    script_content = response.text

    key_match = re.search(r'"key":"([^"]+)"', script_content)
    iv_match = re.search(r'"iv":"([^"]+)"', script_content)
    context_match = re.search(r'"context":"([^"]+)"', script_content)
    jschallenge_match = re.search(r'<script.*?src="(.*?)".*?></script>', script_content)

    key = key_match.group(1) if key_match else None
    iv = iv_match.group(1) if iv_match else None
    context = context_match.group(1) if context_match else None
    jschallenge = jschallenge_match.group(1) if jschallenge_match else None

    if not all([key, iv, context, jschallenge]):
        print("エラー：ページコンテンツにAWS WAFパラメータが見つかりません。")
        return None

    task_payload = {
        "clientKey": capsolver_api_key,
        "task": {
            "type": "AntiAwsWafTaskProxyLess",
            "websiteURL": website_url,
            "awsKey": key,
            "awsIv": iv,
            "awsContext": context,
            "awsChallengeJS": jschallenge
        }
    }

    create_task_response = client.post(CAPSOLVER_CREATE_TASK_ENDPOINT, json=task_payload).json()
    task_id = create_task_response.get('taskId')

    if not task_id:
        print(f"CapSolverタスクの作成エラー：{create_task_response.get('errorId')}、{create_task_response.get('errorCode')}")
        return None

    print(f"CapSolverタスクがID：{task_id}で作成されました。")

    for _ in range(10):
        time.sleep(5)
        get_result_payload = {"clientKey": capsolver_api_key, "taskId": task_id}
        get_result_response = client.post(CAPSOLVER_GET_TASK_RESULT_ENDPOINT, json=get_result_payload).json()

        if get_result_response.get('status') == 'ready':
            aws_waf_token_cookie = get_result_response['solution']['cookie']
            print("CapSolverはCAPTCHAを正常に解決しました。")
            return aws_waf_token_cookie
        elif get_result_response.get('status') == 'failed':
            print(f"CapSolverタスクが失敗しました：{get_result_response.get('errorId')}、{get_result_response.get('errorCode')}")
            return None

    print("CapSolverタスクがタイムアウトしました。")
    return None

# 使用例：
# aws_waf_token = solve_aws_waf_captcha_proxyless(WEBSITE_URL, CAPSOLVER_API_KEY)
# if aws_waf_token:
#     print(f"受信したAWS WAFトークン：{aws_waf_token}")
#     final_response = requests.get(WEBSITE_URL, cookies={"aws-waf-token": aws_waf_token})
#     print(final_response.text)

# ...（インポートとパラメータ抽出のための以前のコード）

    task_payload = {
        "clientKey": capsolver_api_key,
        "task": {
            "type": "AntiAwsWafTask", # プロキシサポートにはAntiAwsWafTaskを使用
            "websiteURL": website_url,
            "awsKey": key,
            "awsIv": iv,
            "awsContext": context,
            "awsChallengeJS": jschallenge,
            "proxy": "http:user:pass@ip:port" # 例："http:your_user:[email protected]:8080"
        }
    }

# ...（タスクの作成と結果の取得のためのコードの残りは同じです）

import requests
import re

WEBSITE_URL = "https://efw47fpad9.execute-api.us-east-1.amazonaws.com/latest"

response = requests.get(WEBSITE_URL)
script_content = response.text

if response.status_code == 405:
    key_match = re.search(r'"key":"([^"]+)"', script_content)
    iv_match = re.search(r'"iv":"([^"]+)"', script_content)
    context_match = re.search(r'"context":"([^"]+)"', script_content)
    # ...（jschallengeが存在する場合は抽出）

    key = key_match.group(1) if key_match else None
    iv = iv_match.group(1) if iv_match else None
    context = context_match.group(1) if context_match else None
    # ...（CapSolverでこれらのパラメータを使用）
else:
    print(f"予期しないステータスコード：{response.status_code}")

import requests
import re

WEBSITE_URL = "https://example.com/protected-202"

response = requests.get(WEBSITE_URL)
script_content = response.text

if response.status_code == 202:
    jschallenge_match = re.search(r'<script.*?src="(.*?challenge.js)".*?></script>', script_content)
    jschallenge = jschallenge_match.group(1) if jschallenge_match else None

    if jschallenge:
        # ...（CapSolverでwebsiteURLとjschallengeを使用）
        pass
    else:
        print("awsChallengeJSが見つかりません。")
else:
    print(f"予期しないステータスコード：{response.status_code}")

import capsolver
import base64
import requests
import re

capsolver.api_key = "YOUR_CAPSOLVER_API_KEY"

WEBSITE_URL = "https://example.com/aws-waf-image-challenge" # 画像チャレンジを含む例のURL

def solve_aws_waf_image_captcha(website_url, capsolver_api_key):
    # この部分は、base64画像と質問を取得するためにページをスクレイピングすることを含みます。
    # デモのために、それらを持っていると仮定しましょう。
    # 実際のシナリオでは、これらの取得にヘッドレスブラウザまたは高度な解析を使用します。
    # 例：response = requests.get(website_url)
    #      images_base64 = re.findall(r'data:image/png;base64,([a-zA-Z0-9+/=]+)', response.text)
    #      question_match = re.search(r'"question":"(aws:grid:[a-zA-Z]+)"', response.text)
    #      question = question_match.group(1) if question_match else "aws:grid:bed"

    # 実際のスクレイピングデータのプレースホルダー
    images_base64 = ["/9j/4AAQSkZJRgABAgAA...", "/9j/2wCEAAoHBwgH..."] # 実際のbase64画像に置き換えてください
    question = "aws:grid:bed" # ページからの実際の質問に置き換えてください

    if not images_base64 or not question:
        print("エラー：画像データまたは質問が見つかりません。")
        return None

    try:
        solution = capsolver.solve({
            "type": "AwsWafClassification",
            "websiteURL": website_url,
            "images": images_base64,
            "question": question
        })
        print("CapSolverは画像CAPTCHAを正常に解決しました。")
        return solution
    except Exception as e:
        print(f"CapSolver画像タスクが失敗しました：{e}")
        return None

# 使用例：
# image_solution = solve_aws_waf_image_captcha(WEBSITE_URL, capsolver.api_key)
# if image_solution:

#     print(f"Received Image Solution: {image_solution}")
#     # grid型のソリューションには、選択する画像を示す'objects'が含まれます。


### 解法6：AWS WAF画像認識（おもちゃの街タイプ）

よくある画像認識の課題として、「おもちゃの街」タイプがあります。これは、車の経路の終わりに点を置く必要があるものです。CapSolverは`AwsWafClassification`でもこれをサポートしています。

**手順：**
1. 課題を「おもちゃの街」タイプとして識別します。
2. base64でエンコードされた画像を抽出します。
3. クエリ`aws:toycarcity:carcity`を使用します。
4. `websiteURL`、`images`(base64文字列1つ)、`question`をCapSolverに送信します。
5. CapSolverは、点を配置するべき座標(x, y)を含む`box`を返します。

**コード例（Python - おもちゃの街認識）：**

```python
import capsolver
import base64

capsolver.api_key = "YOUR_CAPSOLVER_API_KEY"

WEBSITE_URL = "https://example.com/aws-waf-toycar-challenge" # 例のURL

def solve_aws_waf_toycar_captcha(website_url, capsolver_api_key):
    # 実際のスクレイピングデータのプレースホルダー
    image_base64 = "/9j/4AAQSkZJRgABAgAA..." # 実際のbase64画像に置き換えます
    question = "aws:toycarcity:carcity"

    if not image_base64:
        print("Error: 画像データが見つかりません。")
        return None

    try:
        solution = capsolver.solve({
            "type": "AwsWafClassification",
            "websiteURL": website_url,
            "images": [image_base64],
            "question": question
        })
        print("CapSolverがおもちゃの街CAPTCHAを正常に解決しました。")
        return solution
    except Exception as e:
        print(f"CapSolverのおもちゃの街タスクが失敗しました: {e}")
        return None

# 使用例：
# toycar_solution = solve_aws_waf_toycar_captcha(WEBSITE_URL, capsolver.api_key)
# if toycar_solution:
#     print(f"おもちゃの街のソリューションを受信しました: {toycar_solution}")
#     # ソリューションには、x, y座標を含む'box'が含まれます。

def get_aws_waf_params(website_url):
    client = requests.Session()
    response = client.get(website_url)
    script_content = response.text

    key_match = re.search(r'"key":"([^"]+)"', script_content)
    iv_match = re.search(r'"iv":"([^"]+)"', script_content)
    context_match = re.search(r'"context":"([^"]+)"', script_content)
    jschallenge_match = re.search(r'<script.*?src="(.*?)".*?></script>', script_content)

    return {
        "key": key_match.group(1) if key_match else None,
        "iv": iv_match.group(1) if iv_match else None,
        "context": context_match.group(1) if context_match else None,
        "jschallenge": jschallenge_match.group(1) if jschallenge_match else None
    }

def solve_aws_waf_with_retry(website_url, capsolver_api_key, max_retries=3):
    for attempt in range(max_retries):
        print(f"AWS WAFチャレンジを解決する試行{attempt + 1}回目...")
        params = get_aws_waf_params(website_url)
        if not all(params.values()):
            print("すべてのAWS WAFパラメータの抽出に失敗しました。再試行します...")
            time.sleep(2) # 再試行前に待機
            continue

        # paramsを使用してtask_payloadを作成し、CapSolverに送信します
        # ...（解法1と同様ですが、動的に取得したparamsを使用します）

        # CapSolverの呼び出しと結果の取得のプレースホルダー
        # 例：
        # aws_waf_token = call_capsolver_api(website_url, capsolver_api_key, params)
        # if aws_waf_token:
        #     return aws_waf_token
        # else:
        #     print("CapSolverがトークンを返すのに失敗しました。再試行します...")
        #     time.sleep(5) # CapSolverの呼び出しを再試行する前に待機

    print("複数回の再試行後もAWS WAFチャレンジを解決できませんでした。")
    return None

# ...（インポートとAPIキーの設定）

WEBSITE_URL = "https://example.com/challenge-js-only"

def solve_aws_waf_challenge_js(website_url, capsolver_api_key):
    client = requests.Session()
    response = client.get(website_url)
    script_content = response.text

    jschallenge_match = re.search(r'<script.*?src="(.*?challenge.js)".*?></script>', script_content)
    jschallenge = jschallenge_match.group(1) if jschallenge_match else None

    if not jschallenge:
        print("Error: awsChallengeJSが見つかりません。")
        return None

    task_payload = {
        "clientKey": capsolver_api_key,
        "task": {
            "type": "AntiAwsWafTaskProxyLess",
            "websiteURL": website_url,
            "awsChallengeJS": jschallenge
        }
    }

    # ...（タスクの作成と結果の取得に関するコードの残りは、解法1と同じです）

# ...（インポートとAPIキーの設定）

WEBSITE_URL = "https://example.com/jsapi-challenge"

def solve_aws_waf_api_js(website_url, capsolver_api_key):
    client = requests.Session()
    response = client.get(website_url)
    script_content = response.text

    jsapi_match = re.search(r'<script.*?src="(.*?jsapi.js)".*?></script>', script_content)
    jsapi = jsapi_match.group(1) if jsapi_match else None

    if not jsapi:
        print("Error: awsApiJsが見つかりません。")
        return None

    task_payload = {
        "clientKey": capsolver_api_key,
        "task": {
            "type": "AntiAwsWafTaskProxyLess",
            "websiteURL": website_url,
            "awsApiJs": jsapi
        }
    }

    # ...（タスクの作成と結果の取得に関するコードの残りは、解法1と同じです）

# ...（インポートとAPIキーの設定）

WEBSITE_URL = "https://example.com/problem-url-challenge"

def solve_aws_waf_problem_url(website_url, capsolver_api_key):
    client = requests.Session()
    response = client.get(website_url)
    script_content = response.text

    # awsProblemUrlの探し方例（これは変わる可能性があります）
    problem_url_match = re.search(r'"problemUrl":"(https://.*?problem\?.*?)"', script_content)
    problem_url = problem_url_match.group(1) if problem_url_match else None

    if not problem_url:
        print("Error: awsProblemUrlが見つかりません。")
        return None

    task_payload = {
        "clientKey": capsolver_api_key,
        "task": {
            "type": "AntiAwsWafTaskProxyLess",
            "websiteURL": website_url,
            "awsProblemUrl": problem_url
        }
    }

    # ...（タスクの作成と結果の取得に関するコードの残りは、解法1と同じです）

A1: AWS WAF（Web Application Firewall）は、一般的なウェブエクスプロイトからウェブアプリケーションを保護するセキュリティサービスです。正当な人間のユーザーと自動化されたボットを区別するためにリクエストを検証し、CAPTCHAやJavaScriptチャレンジなどを用いることが多いです。これはウェブスクレイピングにとって課題となります。なぜなら、自動化されたスクリプトは人間の行動を模倣するように設計されていますが、WAFはそうした自動化を検出してブロックするように設計されているからです。

### Q2: CapSolverはAWS WAFのチャレンジ解決にどのように役立ちますか？

A2: CapSolverはAI搭載のCAPTCHA解決サービスであり、AWS WAFによって展開されるものも含め、様々なCAPTCHAの種類の解決プロセスを自動化します。トークンベースのチャレンジ（`aws-waf-token`クッキーの生成）と画像認識チャレンジ（視覚パズルを解く）の両方にAPIを提供し、スクレイパーは手動による介入なしでリクエストを続行できます。

### Q3: AWS WAFのチャレンジにはリアルタイムのパラメータパースが必要ですか？

A3: はい、リアルタイムのパラメータパースは非常に重要です。AWS WAFのトークンとチャレンジパラメータは、有効期限が短いことがよくあります。これらのパラメータが使用される前に期限切れになると、CapSolverはエラーを返します。`key`、`iv`、`context`、`challengeJS`、または`awsProblemUrl`をCapSolverに送信する直前に抽出することで、常に最新かつ有効なデータを使用できるようになり、AWS WAF解決の成功率が大幅に向上します。

### Q4: CapSolverはJavaScriptベースと画像ベースの両方のAWS WAFチャレンジに対応できますか？

A4: はい、CapSolverは両方に対応できます。`aws-waf-token`を生成する必要があるJavaScriptチャレンジには、`AntiAwsWafTask`と`AntiAwsWafTaskProxyLess`タスクタイプを提供します。グリッドや玩具の街などの画像ベースのCAPTCHAには、正しい選択または座標を返す`AwsWafClassification`タスクタイプを提供します。

### Q5: AWS WAFに対してCapSolverでプロキシを使用することの利点は何ですか？

A5: CapSolver（`AntiAwsWafTask`経由）でプロキシを使用すると、ウェブスクレイピング操作の堅牢性が向上します。プロキシはIPアドレスのローテーションに役立ち、IPレピュテーションやレート制限に基づいてAWS WAFがリクエストを検出してブロックすることを難しくします。これは、大規模なスクレイピングや、積極的なアンチボット対策を備えたウェブサイトをターゲットとする場合に特に役立ち、成功率の向上とIP禁止の防止に繋がります。