cURLでHTTPリダイレクトの処理方法 (301/302)
回答
cURLはデフォルトでHTTPリダイレクトを自動的にフォローしません。301または302の応答を自動的に処理するには、-Lまたは--locationオプションを使用する必要があります。これは、最終的な宛先URLに到達するまでLocationヘッダーに従うようにcURLに指示するものです。
詳細な説明
HTTPリダイレクトは、サーバーが3xxステータスコード（例: 301（永続的）や302（一時的））とともにLocationヘッダーを返すときに発生します。ブラウザはこれらのリダイレクトを自動的にフォローしますが、cURLは低レベルなHTTPクライアントとして設計されており、明示的に指示しない限り最初の応答で停止します。
リダイレクトが有効になると、cURLはLocationヘッダーから新しいURLを抽出し、現在のリクエストを閉じてターゲットエンドポイントに新しいリクエストを送信します。このプロセスは複数のホップにわたって繰り返される可能性があり、リダイレクトチェーンを形成します。デフォルトでは、cURLは無限ループや誤設定されたエンドポイントによる制御不能なリクエストを防ぐためにリダイレクトの上限（一般的に30程度）を強制します。
リダイレクトの動作を理解することは、地理的場所、認証状態、またはセキュリティ管理システムによってエンドポイントが変化するWebスクレイピング、API統合、自動化ワークフローにおいて特に重要です。
解決策 / 方法
- 自動リダイレクトのフォローアップを有効にする: 最終的なURLに到達するまで301、302、303、および他の3xx応答を自動的にフォローするには、
curl -L https://example.comを使用してください。 - リダイレクトの動作を手動で確認する: ヘッダーを表示してサーバーがどのようにリダイレクトしているかを理解するには、
-Iオプションまたは詳細モードを使用してください。これはスクレイピングの問題をデバッグする際に役立ちます。 - 複雑なスクレイピングシナリオを自動化で対応する: セキュリティ保護やリダイレクトループがある環境では、プロキシのローテーションと自動化対応の解決技術を組み合わせてください。リダイレクトがCAPTCHAまたは検証フローの一部であるスクレイピングパイプラインでは、CapSolverなどのソリューションが、リクエストの進行を妨げないようサポートします。
最適な実践 / ポイント
プロダクションスクリプトでは、無限ループや予期せぬルーティングの動作を避けるために、常にリダイレクトの深さを制御してください。Webスクレイピングシステムでは、各リダイレクトのホップを記録してデバッグやパフォーマンスモニタリングに役立てることも重要です。リダイレクトがボット検出システムやチャレンジページと関連している場合、信頼性の高いリクエスト処理と自動化に適したインフラを組み合わせて、安定性を維持してください。
👉 関連情報:
CapSolverに登録する際、コード
FAQを使用すると、チャージに追加で5%のボーナスが得られます。
CapSolver FAQ — capsolver.com