cloudflareを解決する方法 | Puppeteer Node.JSを使用する

現代では利用可能な自動化タスクが増えるにつれて、それらの価値も高まっているため、課題がより明確で困難になってきています。例えば、Cloudflareは現在、すべての自動化ツールからウェブサイトを保護するための強力なセキュリティ対策を提供しています。

しかし、ウェブスクレイピング、データ抽出、テストなどの自動化プロジェクトに取り組んでいる開発者や組織にとっては、これらのセキュリティ機能を乗り越えることは難しい場合があります。しかし、適切なツールと戦略があれば、法的および倫理的な基準に準拠しながらも、これらの課題を効果的に解決できます。

このチュートリアルでは、PuppeteerとNode.jsを使用してCloudflareのTurnstileを効果的に解決する方法について説明します。さらに、Captchaソルバーの助けを借りて行います。

CapSolverのボーナスコードを引き換える

自動化予算を即座に増やす！
CapSolverアカウントにチャージする際にボーナスコード CAPN を使用すると、毎回のチャージで 5%のボーナス を受け取れます — 制限なし。
CapSolverダッシュボードで今すぐ引き換えてください。
.

CloudflareのTurnstileの理解

CloudflareのTurnstileは、保護されたサイトにアクセスしようとするユーザーをチャレンジするための高度なセキュリティ機能です。JavaScriptチャレンジ、CAPTCHA、および行動分析などの技術を組み合わせて、ユーザーが正当な人間であるか、または自動化されたボットであるかを評価しています。開発者にとって、Turnstileをバイパスするには従来のウェブスクレイピング技術以上の対応が必要です。

前提条件

実装に取りかかる前に、以下のツールとリソースを確保してください。

• Node.js: 公式サイトから最新バージョンのNode.jsをインストールしてください。
• Puppeteer: ヘッドレスChromeまたはChromiumを制御するためのNode.jsライブラリで、自動化タスクに役立ちます。
• CapSolver APIキー: CapSolverに登録し、CAPTCHA解決サービス用のAPIキーを取得してください。

CapSolverとは何か？

CapSolverは、CAPTCHAやその他の自動化チャレンジを解決するための強力なツールです。ウェブサイトがボットやスクレイパーを妨げるための複雑なセキュリティメカニズムをますます導入する中、CapSolverはこれらの障壁を乗り越えるための信頼性の高いソリューションを提供します。

CapSolverの主な特徴:

• 包括的なCAPTCHAソリューション: CapSolverはreCAPTCHA、Cloudflare、ImageToTextなど、さまざまなタイプのCAPTCHAをサポートしており、チャレンジの解決をスムーズに行えます。
• 高い正確性: 先進的なアルゴリズムと機械学習モデルを活用し、CAPTCHAの解決精度が高く、失敗率を減らし効率を向上させます。
• 簡単な統合: CapSolverは使いやすいAPIを提供しており、既存の自動化ツール（Puppeteerなど）と簡単に統合できます。これにより、ウェブスクレイピングやテストワークフローの一部としてCAPTCHA解決を自動化できます。
• 24時間対応サポート: CapSolverは、問題の解決や質問への対応をサポートする堅牢なカスタマーサポートを提供し、スムーズな運用と迅速なアシスタンスを確保します。

以下は、説明をより詳細かつ充実させたバージョンと、記事の結論部分です：

詳細な実装手順

1. PuppeteerとJavaScriptを使用してCapSolver APIを呼び出し、ウェブサイトにアクセスする

   • Puppeteerは、DevToolsプロトコルを介してヘッドレスChromeまたはChromiumを制御する強力なNode.jsライブラリです。この文脈では、ウェブページのナビゲーションや、CAPTCHAの処理などの複雑な相互作用の処理に使用されます。

2. TurnstileのSiteKeyを取得する

   • SiteKeyは、Turnstileチャレンジを解決するために取得する必要がある重要な要素です。このキーは各ウェブサイトごとに固有であり、CAPTCHA解決APIとやり取りする際に必要です。ウェブサイトのHTMLを分析するか、CapSolver拡張機能を使用してプロセスをスムーズにします。必要なパラメータを識別するための詳細なガイドについては、当社の専用ブログ記事を参照してください。

3. JavaScriptを使用してCapSolver APIを呼び出し、トークンを取得する

   • SiteKeyを取得した後、CapSolver APIにリクエストを送信できます。これには、CapSolverが処理するCAPTCHAのタスクを作成する必要があります。APIは、Turnstileの保護をバイパスするためのトークンを返します。
   • CapSolver APIとJavaScriptでやり取りする例は以下の通りです：

// npm install axios puppeteer-core
const axios = require('axios');
const puppeteer = require("puppeteer-core");

const api_key = "YOUR_API_KEY";
const site_key = "0xxxxxx";
const site_url = "https://xxx.xxx.xxx/xxx";
const proxy = "http://xxx:xxx@x.x.x.x:x"

async function capsolver() {
  const payload = {
    clientKey: api_key,
    task: {
      type: 'AntiTurnstileTaskProxyLess',
      websiteKey: site_key,
      websiteURL: site_url,
      metadata: {
          action: '',  // 任意
          type: "turnstile"
      },
      // proxy: proxy
    }
  };

  try {
    const res = await axios.post("https://api.capsolver.com/createTask", payload);
    const task_id = res.data.taskId;
    if (!task_id) {
      console.log("タスクの作成に失敗しました:", res.data);
      return;
    }
    console.log("タスクIDを取得しました:", task_id);

    while (true) {
      await new Promise(resolve => setTimeout(resolve, 1000)); // 1秒の遅延

      const getResultPayload = {clientKey: api_key, taskId: task_id};
      const resp = await axios.post("https://api.capsolver.com/getTaskResult", getResultPayload);
      const status = resp.data.status;

      if (status === "ready") {
        return resp.data.solution.token;
      }
      if (status === "failed" || resp.data.errorId) {
        console.log("解決に失敗しました！応答:", resp.data);
        return;
      }
    }
  } catch (error) {
    console.error("エラー:", error);
  }
}

const wait = (ms) => new Promise(resolve => setTimeout(resolve, ms));
async function reqSite(){
  let coockie;
  await capsolver().then(token => {
    console.log(token);
    coockie = token;
  });

  const browser = await puppeteer.launch({
    headless: false,
    executablePath: "ブラウザのパス"
  });

  const page = await browser.newPage();
  await wait(500);
  await page.setCookie({
    name: "cf_clearance",
    value: coockie,
    domain: "xx.xx.xx"
  });
  await wait(500);
  await page.goto(site_url);
  // TODO
  await page.close();
  await browser.disconnect();
}

reqSite().then();

4. Puppeteerでクッキーを設定し、ページのコンテンツにアクセスする
   • CapSolverから取得したトークンを使用して、今度はPuppeteerで適切なクッキーを設定し、Cloudflareのチャレンジを通過できます。このステップは、ウェブサイトの保護されたコンテンツにアクセスするために不可欠です。

結論

このチュートリアルでは、PuppeteerとCapSolver APIを使用してCloudflareのTurnstileセキュリティを効果的に乗り越える方法について紹介しました。Cloudflareの保護対策の詳細を理解し、CapSolverなどの強力なツールを活用することで、開発者は法的基準に準拠しながらも、ウェブスクレイピング、データ抽出、テストなどのタスクを成功裏に自動化できます。

自動化はさまざまな業界で重要性を増しており、その一方でTurnstileのような高度なセキュリティシステムによる課題も増えてきています。最新情報を得て適切な戦略を活用することで、自動化プロジェクトをスムーズかつ効率的に運用できます。

類似のプロジェクトに取り組んでいる場合は、CapSolverで頼もしいCAPTCHA解決ソリューションを活用してください。さらに詳しい情報が必要な場合は、ウェブスクレイピングのベストプラクティスやPuppeteerの使用方法のヒントなどの関連トピックもチェックしてください。

FAQ

1. CapSolverを使用してCloudflare Turnstileを回避することは合法で安全ですか？

CapSolverは正当なツールであり、その合法性は使用方法に依存します。
自動化、テスト、スクレイピングを適切な許可のもと、地域の法律やウェブサイトのポリシーに準拠して行う限り、これは許容されます。
許可されていないスクレイピングや悪意のある活動にはこのようなツールを使用しないでください。これは利用規約や法律に違反する可能性があります。

2. Turnstileを解決するためにPuppeteerが必要ですか？HTTPリクエストだけでできませんか？

Cloudflare Turnstileは単なるCAPTCHAよりも多くの検証を行います。また、以下のこともチェックします：

• ブラウザのファイントプリント
• JavaScriptの実行
• クッキーとストレージの動作
• ページリソースの読み込みと相互作用

純粋なHTTPリクエストでは、本物のブラウザ環境を正確にシミュレートすることはできません。
Puppeteerは完全なブラウザコンテキストを提供するため、Cloudflareの階層的なセキュリティチェックをバイパスする際にはより信頼性が高くなります。

3. CapSolverからトークンを取得しましたが、ページが読み込まれません。何を確認すべきですか？

考えられる理由には以下があります：

• 間違ったSiteKey（各ページで異なるキーが使用される場合があります）
• cf_clearanceクッキーが不足している、または誤って設定されている
• Cloudflareがブラウザのファイントプリントを疑わしいと検出している
• プロキシの不一致（プロキシを使用している場合）

トラブルシューティングのステップ:

1. CapSolverが有効なトークンを返したか確認してください。
2. Puppeteerが正しいドメインにクッキーを正しく設定したか確認してください。
3. タスクを作成した際のwebsiteURLとアクセスしたURLが一致しているか確認してください。
4. 問題が解決しない場合は、プロキシを有効にするか、ブラウザのファイントプリント設定を調整することを検討してください。