Crawl4AIにおけるreCAPTCHA v2の解決方法とCapSolver統合

import asyncio
import capsolver
from crawl4ai import *


# TODO: あなたの設定を入力してください
api_key = "CAP-xxxxxxxxxxxxxxxxxxxxx"                                      # CapSolverのAPIキー
site_key = "6LfW6wATAAAAAHLqO2pb8bDBahxlMxNdo9g947u9"                      # ターゲットサイトのサイトキー
site_url = "https://recaptcha-demo.appspot.com/recaptcha-v2-checkbox.php"  # ターゲットサイトのページURL
captcha_type = "ReCaptchaV2TaskProxyLess"                                  # ターゲットCAPTCHAのタイプ
capsolver.api_key = api_key


async def main():
    browser_config = BrowserConfig(
        verbose=True,
        headless=False,
        use_persistent_context=True,
    )

    async with AsyncWebCrawler(config=browser_config) as crawler:
        await crawler.arun(
            url=site_url,
            cache_mode=CacheMode.BYPASS,
            session_id="session_captcha_test"
        )

        # CapSolver SDKを使用してreCAPTCHAトークンを取得
        solution = capsolver.solve({
            "type": captcha_type,
            "websiteURL": site_url,
            "websiteKey": site_key,
        })
        token = solution["gRecaptchaResponse"]
        print("reCAPTCHAトークン:", token)

        js_code = """
            const textarea = document.getElementById(\'g-recaptcha-response\');
            if (textarea) {
                textarea.value = \"""" + token + """\";
                document.querySelector(\'button.form-field[type="submit"]\').click();
            }
        """

        wait_condition = """() => {
            const items = document.querySelectorAll(\'h2\');
            return items.length > 1;
        }"""

        run_config = CrawlerRunConfig(
            cache_mode=CacheMode.BYPASS,
            session_id="session_captcha_test",
            js_code=js_code,
            js_only=True,
            wait_for=f"js:{wait_condition}"
        )

        result_next = await crawler.arun(
            url=site_url,
            config=run_config,
        )
        print(result_next.markdown)


if __name__ == "__main__":
    asyncio.run(main())

import asyncio
import time

from crawl4ai import *


# TODO: あなたの設定を入力してください
user_data_dir = "/browser-profile/Default1" # ここに正しいパスを設定し、構成済みの拡張機能が含まれていることを確認してください

browser_config = BrowserConfig(
    verbose=True,
    headless=False,
    user_data_dir=user_data_dir,
    use_persistent_context=True,
    proxy="http://127.0.0.1:13120", # 必要に応じてプロキシを構成
)

async def main():
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result_initial = await crawler.arun(
            url="https://recaptcha-demo.appspot.com/recaptcha-v2-checkbox.php",
            cache_mode=CacheMode.BYPASS,
            session_id="session_captcha_test"
        )

        # 拡張機能はページロード時にCAPTCHAを自動的に解決します。
        # CAPTCHAが解決されるまでに十分な時間を確保するため、必要に応じて待機条件またはtime.sleepを追加する必要があります。
        time.sleep(30) # 例としての待機時間、必要に応じて調整してください

        # CAPTCHAが解決された後、他のCrawl4AI操作を継続
        # たとえば、成功した送信後に表示される要素をチェック
        # print(result_initial.markdown) # ここに待機後のページコンテンツを確認できます


if __name__ == "__main__":
    asyncio.run(main())

import asyncio
import time

from crawl4ai import *


# TODO: あなたの設定を入力してください
user_data_dir = "/browser-profile/Default1" # ここに正しいパスを設定し、構成済みの拡張機能が含まれていることを確認してください

browser_config = BrowserConfig(
    verbose=True,
    headless=False,
    user_data_dir=user_data_dir,
    use_persistent_context=True,
    proxy="http://127.0.0.1:13120", # 必要に応じてプロキシを構成
)

async def main():
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result_initial = await crawler.arun(
            url="https://recaptcha-demo.appspot.com/recaptcha-v2-checkbox.php",
            cache_mode=CacheMode.BYPASS,
            session_id="session_captcha_test"
        )

        # ページがロードされ、拡張機能が準備できるように少し待機
        time.sleep(6)

        # CapSolver拡張機能が提供する手動解決ボタンをクリックするjs_codeを使用
        js_code = """
            let solverButton = document.querySelector(\'#capsolver-solver-tip-button\');
            if (solverButton) {
                const clickEvent = new MouseEvent(\'click\', {
                    bubbles: true,
                    cancelable: true,
                    view: window
                });
                solverButton.dispatchEvent(clickEvent);
            }
        """
        print(js_code)
        run_config = CrawlerRunConfig(
            cache_mode=CacheMode.BYPASS,
            session_id="session_captcha_test",
            js_code=js_code,
            js_only=True,
        )
        result_next = await crawler.arun(
            url="https://recaptcha-demo.appspot.com/recaptcha-v2-checkbox.php",
            config=run_config
        )
        print("JS実行結果:", result_next.js_execution_result)

        # 手動トリガー後のCAPTCHA解決に時間を許可
        time.sleep(30) # 例としての待機時間、必要に応じて調整してください

        # 他のCrawl4AI操作を継続


if __name__ == "__main__":
    asyncio.run(main())