レート制限されたおよびブロックされたAIエージェントの修正
Sora Fujimoto
AI Solutions Architect
TL;DR
- 429をペーシングシグナル、403を拒否シグナルとして扱い、プロキシの変更、CAPTCHA処理、プランナーのプロンプトを変更する前に分類する。
- Retry-Afterを尊重し、サーバーが提供しない場合でも、繰り返しリクエストが失敗する場合はローカルクールダウンを作成する。
- 各エージェントの実行にホスト、アカウント、エンドポイント、アクションごとのリクエスト予算を割り当て、リトライがオペレータの意図なしに増加しないようにする。
- スローティングはブラウザ起動の前に実行するべきであり、オーバーロードがすでに始まってからクリックを遅くしても遅すぎる。
- プロキシとアカウントのポリシーは一緒に評価する必要がある。クリーンなルートでは、許容された使用を超えたアカウントを救うことはできない。
はじめに
レート制限されたエージェントには、ブラウザのトリックよりも先にトラフィック制御が必要である。429、403、CAPTCHAページ、サイレントリダイレクトはすべて異なる失敗の種類を示すため、修復はステータスコードの厳格さから始まる。CapSolverは、責任あるペーシングの後にサポートされているチャレンジに達した認証されたワークフローで役立つが、オーバーロード、アカウントの乱用、または権限の欠如を隠すために使用してはならない。レート制限およびブロックされたAIエージェントの場合、拒否を引き起こしたエンドポイント、アカウント、プロキシルート、リクエスト数、リトライインターバル、レスポンスヘッダー、プランナーのアクションをキャプチャする。その後、スローティングをモデルの最終的な決定ではなくスケジューラーに移す。その結果、ブロック率が低下し、明確な責任が生じる。
429の圧力を403の拒否と区別する
429と403を異なる運用シグナルとして扱う。HTTP 429はクライアントが一定期間に多すぎるリクエストを送信したことを示し、HTTP 403はサーバーがリクエストを理解し、拒否したことを示す。HTTP 429 Too Many RequestsとHTTP 403 Forbiddenの定義は、ログ分類の明確なベースラインを提供する。チームが両方の結果を「ブロック」ラベルでグループ化すると、修正がノイズになる。1人のエンジニアがリクエストを遅くし、別のエンジニアがルートを変更し、エージェントは同じ計画を繰り返し続ける。
レート制限およびブロックされたAIエージェント用のステータスタクソノミーを作成する。429はホスト、エンドポイント、アカウント、ルート、リトライヘッダー、および最近のリクエスト数を記録する。403は認証状態、アカウント状態、ルート、パス、チャレンジページのマーカー、およびレスポンスボディのクラスを記録する。CAPTCHAページは、それが迅速なリクエストに従って表示されたのか、最初の接触で表示されたのかを記録する。これらのカテゴリにより、個別の修復経路が可能になる。
プランナーがすべての拒否が別の試行を必要とするとは決めさせない。ブラウザツールはrate_limited、forbidden、challenge_detected、またはauth_requiredなどの構造化された状態を返すべきである。この1つの変更により、レート制限およびブロックされたAIエージェントが小さなクールダウンからより大きなロックアウトに変換されることを防ぐ。
Retry-Afterを尊重し、ローカルクールダウンを構築する
リトライタイミングは、サーバーが提供するフィードバックに従うべきである。Retry-Afterレスポンスフィールドは、クライアントが再試行するタイミングを示すレスポンスフィールドを定義する。それが表示される場合、 stricterな内部ポリシーが適用されていない限り、キューはそれを正確に尊重すべきである。それが表示されない場合、最近の失敗の密度、エンドポイントのコスト、およびビジネスの優先度に基づいて保守的なローカルクールダウンを使用する。
良いクールダウンには範囲がある。1つの製品ページではホストごとの遅延が必要かもしれないが、書き込みアクションではアカウントレベルの一時停止が必要である。検索ページ、ログインページ、チェックアウトパス、およびAPIのようなエンドポイントは、1つの汎用的なリトライカウンタを共有してはならない。各アクションに明示的なコストがある場合、レート制限およびブロックされたAIエージェントは運用が容易になる。読み取りは1ユニット、検索はより多くのコスト、失敗したフォーム送信は全体の実行予算を消費する。
CapSolverのプロキシ品質用語は、チームがルート品質とペーシングを分離するのを助ける。悪い評判を持つルートはすぐに失敗するかもしれないが、良いルートでもエージェントがサイトの予想されるペースを超えると429を受けることがある。最初の修復は、クールダウンを尊重することであり、セッション中にアイデンティティを変更することではない。
各エージェントにリクエスト予算を割り当てる
予算はモデルループがトラフィックイベントに変換されることを止める。ホスト、エンドポイントグループ、アカウント、ルート、およびタスク実行ごとの最大カウントを定義する。可能な限りナビゲーションリクエストとバックグラウンドコールを含め、現代のページが1つの可視アクション後に多くのアセットとAPIリクエストをトリガーする可能性があるためである。レート制限およびブロックされたAIエージェントに予算がない場合、1つの曖昧なプランナーのステップがリフレッシュ、検索、詳細ページを開き、戻り、繰り返すことで、ターゲットがすべてのトラフィックを拒否するまで続く。
ブラウザが開始する前に予算を設定する。スケジューラーは、ホストにどのくらいの実行が入るか、各実行がどのくらいのページにアクセスできるか、どのくらいの書き込みアクションが許可されるか、どのくらいの拒否でジョブが終了するかを知っているべきである。ブラウザレイヤーはシグナルを観測し続けることができるが、それは唯一のスロットルではない。繰り返しの試行がリスクシグナルであることを思い出させるレート制限の制御ガイドラインをセキュリティ志向のリマインダーとして使用する。
予算はログで見えるべきである。計画されたコスト、使用されたコスト、残りのコスト、およびタスクが停止した理由を記録する。これにより、レート制限およびブロックされたAIエージェントは運用チームが容量を予測するのに十分予測可能になり、コンプライアンスチームがアクセス境界をレビューすることができる。
CapSolverのボーナスコードを取得する
自動化予算を即座に増やす！
CapSolverアカウントにチャージするときにボーナスコード CAP26 を使用すると、すべてのチャージで 5%のボーナス を受け取れます — 制限なし。
今すぐCapSolverダッシュボードで取得してください
ブラウザにアクセスする前にキューを処理する
キューのスローティングは上流で最も効果的である。10台のエージェントがブラウザを起動し、ページフロー内で待つ場合、ターゲットはすでにトラフィックのピークを認識している。キューをブラウザ作成、DNS解決、ログイン、ページナビゲーションの前に配置する。ホストとアカウントグループごとに並列処理を割り当てる。検索ループやフォーム送信などの高リスクアクションには、読み取り専用の詳細ページよりも小さなレーンを割り当てる。
予測可能なペーシングのためにトークンバケットまたはリークバケットを使用する。クールダウン後の多くのジョブが同じミリ秒で再開しないようにジャイタを追加する。安定した読み取りをキャッシュし、ブラウザ容量を消費する前に同一のジョブを重複削除する。タスク中に同じページを2回必要とする場合、実際の状態変化が期待されていない限り、キャッシュされた観測を返す。これらの制御により、負荷が軽減され、レート制限およびブロックされたAIエージェントがサイト全体の拒否をトリガーする可能性が低下する。
ブロックされたスクレイピング制御の議論は、キューのポリシーに翻訳されたときに最も役立つ。繰り返しリクエストが少ない、明確なルート所有権、および拒否の停止条件。キュー設計は単なるパフォーマンス作業ではない。責任ある自動化の一部である。
プロキシ、アカウント、および権限戦略を一致させる
プロキシの変更は反射として使用してはならない。リクエストルート、アカウント、クッキージャー、ユーザーエージェントファミリー、およびジオロケーションは一緒に意味を持つ必要がある。1つのタスク中にログインしたアカウントが複数の地域から表示される場合、またはチャレンジのレンダリングと送信の間にルートが変化する場合、サイトは検証を強化する可能性がある。レート制限およびブロックされたAIエージェントは、通常、ルートポリシーとアカウントポリシーが異なるチームによって設計されたため失敗する。
アカウントグループ、許可された地域、許可されたプロキシプール、最大並列セッション、およびクールダウンルールのマトリクスを作成する。CapSolverのプロキシベンチマーク設計などの繰り返し可能な方法でプロキシのパフォーマンスをレビューするが、ベンチマークの成功をボリュームの増加を許可するものとして扱ってはならない。パブリックアクセスポリシーは依然として重要であり、ロボット排除プロトコルはクローラーのガバナンスのための有用なベースラインである。
責任あるペーシングの後にワークフローが認証され、CAPTCHAが表示された場合、CapSolverは制御されたチャレンジステップとして配置される。403が任意の合理的なリクエストパターンよりも前に表示された場合、まずアクセス権、アカウント状態、またはターゲットポリシーを修正する。この区別により、レート制限およびブロックされたAIエージェントが追加のリトライで拒否を隠すことを防ぐ。
ブラウザを開く前にキューを構築する
レート制御は、ブラウザインスタンスが起動する前に始めるべきである。キューはホスト予算、アカウント予算、ルート予算、およびエンドポイントコストに基づいて、タスクの開始を許可するかどうかを決定する。これは、ブラウザエージェントがタブを開き、ナビゲーションを開始した後に遅くするよりも強力である。レート制限およびブロックされたAIエージェントの場合、事前起動スケジューリングはモデルが意図せずにバーストを作成することを防ぐ。
ビジネスの優先度に合わせてキューを設計する。モニタリングタスクはチェックアウトQAタスクの後ろに待つことができる。検索が多いタスクは、単一の詳細ページの読み取りよりも小さな並列制限で実行される。失敗したタスクは、盲目的にリトライする代わりに未使用の予算を返すべきである。ホストが429を返し始めると、キューはそのホスト全体をクールダウンさせるべきであり、観測した応答を持つ単一のエージェント実行だけではない。これにより、レート制限がブラウザエラーから通常のスケジューリング決定に変わる。
アカウント、ルート、エンドポイントを一緒にレビューする
アカウント、ルート、エンドポイントのシグナルは相互に作用する。不安定なルート上の信頼できるアカウントは失敗するかもしれない。過度に使用されたアカウントを持つクリーンなルートも失敗する。低コストのエンドポイントは健康を保つかもしれないが、ログイン、検索、またはフォーム送信エンドポイントはすでに圧力下にある。レート制限およびブロックされたAIエージェントは、これらの次元をグループ化して分析する必要があり、1つずつ回転するのではなく、それぞれを一緒に分析する。
小さな運用ダッシュボードを作成する。リクエスト、429、403、チャレンジページ、平均クールダウン、リトライ回数、最終的な成功、アカウントIDクラス、ルートクラス、エンドポイントグループをトラッキングする。有用なメトリックはブロック数だけでなく、完了したタスクと検証イベントの比率である。検証が完了した作業よりも速く成長する場合、計画を停止して検査する。責任あるシステムは、シグナルが悪化したときに圧力を減らすべきであり、同じパスを強制するために自動化予算を浪費すべきではない。
モデルがオーバーライドできないバックオフポリシーを書く
バックオフはエージェントの気分ではなくコードに属する。最初のリトライ遅延、最大リトライ回数、ジャイタ範囲、クールダウン範囲、および停止条件をプロンプトの外に定義する。エージェントはなぜ別の試行が必要かを報告できるが、スケジューラーが試行が許可されるかどうかを決定すべきである。これにより、サイトが明確にクライアントに遅延を求めるシグナルをモデルの説得力のある応答で上書きすることを防ぐ。
停止理由を最終的なタスク出力に表示する。停止した実行は「ホストクールダウン」、「アカウント予算の消費」、「エンドポイント拒否」、または「認証が不明」ではなく、曖昧な失敗ではなく、明確な理由を示すべきである。この表現は、健全な制限と破損した自動化を区別するのを操作者に助ける。レート制限およびブロックされたAIエージェントの場合、クリーンな停止は成功したセーフティ行動であり、失敗したタスクではない。
クールダウン後にトラフィックを徐々に再開する
復元は段階的であるべきである。クールダウンが終了した後、最初は低コストのリクエストを1つ再開し、その後小さなバッチを再開し、拒否シグナルが低い場合にのみ通常のボリュームに戻る。すべてのバックログを一度に再開しない。一括してすべての一時停止タスクを解放するキューは、数秒以内に同じ429パターンを再生成する可能性がある。
クールダウンルールの隣に復元ルールを書く。誰が上書きできるか、どのエンドポイントが除外されるか、および成功がどのように測定されるかを含める。これにより、レート制限およびブロックされたAIエージェントが1日中オーバーロードと復元を繰り返すことを防ぐ。
結論
レート制限およびブロックされたAIエージェントの修正は分類から始まる。429と403を区別し、Retry-Afterを尊重し、リクエスト予算を適用し、ブラウザ起動前にスローティングを行い、プロキシとアカウントルールを一貫させること。チャレンジ処理はこれらの制御の後に位置するべきであり、それより前に位置してはならない。
許可された自動化が合理的なリクエスト予算内でサポートされているCAPTCHAチャレンジに達した場合、CapSolverでそのステップをテストし、拒否メトリクスを解決メトリクスとは別に保つ。
FAQ
ブロックされたエージェントで最初に確認するログはどれですか？
HTTPステータスとレスポンスヘッダーを確認し、エンドポイント、アカウント、ルート、およびプランナーのアクションでイベントをグループ化する。これにより、429と403が同じように修復されることを防ぐ。
エージェントは常にRetry-Afterを待つべきですか？
ヘッダーが存在し、有効な場合、はい。内部ポリシーはより長く待つことができるが、サーバーが示したクールダウンよりも早くリトライしてはならない。
新しいプロキシはレート制限を修正できますか？
ルート品質が重要になる場合もあるが、過剰なボリューム、欠如した権限、ロックされたアカウント、または一貫しないセッション動作を修正するには、新しいプロキシは役立たない。
スローティングはどこに配置すべきですか？
主なスローティングをブラウザ起動前のスケジューラーまたはキューに配置する。ブラウザツールは依然として拒否状態を検出し、プランナーを停止するべきである。
CapSolverはこの問題に関連していますか？
CapSolverは、ペーシング、権限、アカウント、およびルート制御がすでに整っている認証されたワークフローがサポートされているCAPTCHAに達した場合に関連している。