CapSolverをComposio AIブラウザ自動化に統合する方法

スクリプトを実行
  -> OpenAI Agents SDKがどのツールを呼び出すかを決定
  -> Composioカスタムツール: complete_recaptcha_v2
       -> Playwrightでページを開く
       -> capsolver.solve(...)がgRecaptchaResponseを返す
       -> トークンをg-recaptcha-responseに適用
       -> Playwrightで送信し、ページを待機
       -> ページを読み込み、承認されたかを判断
  -> ツールが{"accepted": ..., "message": ...}を返す
  -> エージェントがacceptedからの結果を報告

pip install composio composio-openai-agents openai-agents capsolver pydantic playwright
playwright install chromium

# APIキー。
COMPOSIO_API_KEY = "ak_..."
OPENAI_API_KEY = "sk-..."          # あなたの公式OpenAI APIキー。
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY   # OpenAI SDKはキーを環境から読み込みます。

# CapSolverとComposioを設定。
capsolver.api_key = "CAP-..."
composio = Composio(
    api_key=COMPOSIO_API_KEY,
    provider=OpenAIAgentsProvider(),
)

import os
from typing import List, cast
import capsolver
from agents import Agent, Runner, SQLiteSession
from composio import Composio
from composio.core.models.custom_tool import CustomTool
from composio.core.models.tool_router import ToolRouterExperimentalConfig
from composio_openai_agents import OpenAIAgentsProvider
from playwright.sync_api import sync_playwright
from pydantic import BaseModel, Field

# APIキー。
COMPOSIO_API_KEY = "ak_..."
OPENAI_API_KEY = "sk-..."          # あなたの公式OpenAI APIキー。
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

# CapSolverとComposioを設定。
capsolver.api_key = "CAP-..."
composio = Composio(
    api_key=COMPOSIO_API_KEY,
    provider=OpenAIAgentsProvider(),
)


# カスタムツールの入力スキーマ; ComposioはここにPydantic BaseModelが必要です。
class CompleteRecaptchaInput(BaseModel):
    target_url: str = Field(
        default="https://www.google.com/recaptcha/api2/demo",
        description="reCAPTCHA v2デモを含むページのURL",
    )
    website_key: str = Field(
        default="6Le-wvkSAAAAAPBMRTvw0Q4Muexq9bi0DJwx_mJ-",
        description="現在のページからのreCAPTCHA v2ウェブサイトキー",
    )


# すべてのフローを1つのComposioツールとして登録し、エージェントが呼び出せます。
# 最初のパラメータの型注釈は、Composioがスキーマを推測するために必要です。
@composio.experimental.tool(preload=True)
def complete_recaptcha_v2(input: CompleteRecaptchaInput, _ctx):
    """Playwrightでページを開き、reCAPTCHA v2を解決し、送信し、検証します。"""
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=False)  # ウィンドウを非表示にするにはheadless=Trueに設定してください。
        page = browser.new_page()
        try:
            page.goto(input.target_url)
            # CapSolverにreCAPTCHA v2チャレンジを解決させます。
            solution = capsolver.solve(
                {
                    "type": "ReCaptchaV2TaskProxyLess",
                    "websiteURL": input.target_url,
                    "websiteKey": input.website_key,
                }
            )
            token = solution.get("gRecaptchaResponse")
            page.evaluate(
                """
                (token) => {
                    const textarea = document.getElementById('g-recaptcha-response');
                    if (textarea) {
                        textarea.value = token;
                    }
                }
                """,
                token,
            )
            page.click("#recaptcha-demo-submit")
            page.wait_for_load_state("networkidle")
            result_page = page.content()
            # ページが実際に成功テキストを表示している場合のみ成功
            accepted = "Verification Success" in result_page
            return {
                "accepted": accepted,
                "message": (
                    "Verification Success"
                    if accepted
                    else "ページはVerification Successを報告していません"
                ),
            }
        finally:
            browser.close()
def main():
    experimental: ToolRouterExperimentalConfig = {
        "custom_tools": cast(List[CustomTool], [complete_recaptcha_v2]),
    }
    session = composio.sessions.create(
        user_id="playwright-recaptcha-demo-user",
        experimental=experimental,
        sandbox={"enable": False},  # サンドボックスではなくこのプロセスでツールを実行します。
    )
    agent = Agent(
        name="Playwright reCAPTCHAアシスタント",
        instructions=(
            "ユーザーがデモを実行するよう要求した場合、complete_recaptcha_v2をデフォルト値で呼び出してください。acceptedがtrueのときのみ成功と報告してください。"
        ),
        model="gpt-5.2",
        tools=session.tools(),
    )
    # マルチターン会話用メモリ
    memory = SQLiteSession("conversation")
    print("Composio + Playwright reCAPTCHA v2デモを実行中...")
    user_input = (
        "現在、complete_recaptcha_v2をデフォルトのtarget_urlとwebsite_keyで呼び出してください。確認は不要です。"
    )
    result = Runner.run_sync(
        starting_agent=agent,
        input=user_input,
        session=memory,
    )
    print(f"アシスタント: {result.final_output}\n")
if __name__ == "__main__":
    main()

image_src = page.locator("#demoCaptcha_CaptchaImage").get_attribute("src")
if not image_src or "," not in image_src:
    raise RuntimeError("有効なCAPTCHA画像のData URLが見つかりませんでした")
base64_image = image_src.split(",", 1)[1]  # "data:image/...;base64,"プレフィックスを削除します。

class CompleteImageCaptchaInput(BaseModel):
    target_url: str = Field(
        default="https://captcha.com/demos/features/captcha-demo.aspx",
        description="画像CAPTCHAデモページのURL",
    )
    module: str = Field(
        default="common",
        description="CapSolver ImageToTextTask認識モジュール",
    )

@composio.experimental.tool(preload=True)
def complete_image_captcha(input: CompleteImageCaptchaInput, _ctx):
    """Playwrightでページを開き、画像CAPTCHAを認識し、送信し、検証します。"""
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=False)
        page = browser.new_page()
        try:
            page.goto(input.target_url)
            page.wait_for_selector("#demoCaptcha_CaptchaImage", state="visible")

            # 画像のsrcはすでにデータURL; プレフィックスを削除してBase64を取得します。
            image_src = page.locator("#demoCaptcha_CaptchaImage").get_attribute("src")
            if not image_src or "," not in image_src:
                raise RuntimeError("有効なCAPTCHA画像のData URLが見つかりませんでした")
            base64_image = image_src.split(",", 1)[1]
            solution = capsolver.solve(
                {
                    "type": "ImageToTextTask",
                    "websiteURL": input.target_url,
                    "module": input.module,
                    "body": base64_image,
                }
            )
            captcha_text = solution.get("text")
            if not isinstance(captcha_text, str) or not captcha_text:
                raise RuntimeError("CapSolverは認識されたテキストを返しませんでした")
            page.fill("#captchaCode", captcha_text)      # 認識されたテキストを入力します。
            page.click("#validateCaptchaButton")
            page.wait_for_load_state("networkidle")
            result_page = page.content()
            # デモページは成功時に"Correct!"、失敗時に"Incorrect!"を表示します。
            accepted = "Correct!" in result_page
            return {
                "accepted": accepted,
                "recognized_text": captcha_text,
                "message": "Correct!" if accepted else "ページはCorrect!を報告していません",
            }
        finally:
            browser.close()

PlaywrightでCAPTCHAページを開く
  -> #demoCaptcha_CaptchaImageが表示されるのを待つ
  -> src(データURL)を読み込み、プレフィックスを削除してBase64を取得
  -> capsolver.solve(ImageToTextTask)がテキストを返す
  -> page.fillが結果を#captchaCodeに書き込む
  -> page.clickが#validateCaptchaButtonをアクティブに
  -> page.contentがCorrect!またはIncorrect!をチェック
  -> finallyでブラウザを閉じる

solution = capsolver.solve({
    "type": "ImageToTextTask",
    "module": "number",
    "images": [base64_image],
})

answers = solution["answers"]

experimental.tool: "complete_recaptcha_v2"の最初のパラメータはPydantic BaseModelのサブクラスで注釈付けられている必要があります。取得: <class 'inspect._empty'>

403 APIKey_InsufficientPermissions
このルートには「sessions」の書き込みアクセスが必要です

Composioツール = Playwrightページ操作 + CapSolver結果 + ページ状態の検証