CAPSOLVER
博客
All
如何使用 HttpClient（C# 库）进行网页抓取

如何使用 HttpClient (C# 库) 进行网页抓取

Logo of CapSolver

Anh Tuan

Data Science Expert

13-Sep-2024

如何使用 HttpClient（C# 库）进行网页抓取

网站通常会使用 CAPTCHA 挑战（例如 Google reCAPTCHA）来阻止机器人并防止自动访问其内容。为了以编程方式绕过这些挑战，您可以使用像 Capsolver 这样的服务，它们提供基于 API 的解决方案来解决这些 CAPTCHA。

在本指南中，我们将向您展示如何：

使用 C# HttpClient 进行网页抓取

在 C# 中，HttpClient 类通常用于发送 HTTP 请求并接收来自网站的响应。您可以将其与 HTML 解析器（如 HtmlAgilityPack）结合使用来从网页中提取数据。

先决条件

  • 使用 NuGet 包管理器安装 HtmlAgilityPack 库以帮助解析 HTML 内容：
bash 复制代码 
Install-Package HtmlAgilityPack
  • 安装 Newtonsoft.Json 以处理 JSON 响应：
bash 复制代码 
Install-Package Newtonsoft.Json

示例：抓取“Quotes to Scrape”

让我们使用 HttpClient 和 HtmlAgilityPack 从 Quotes to Scrape 网站抓取报价。

csharp 复制代码 
using System;
using System.Net.Http;
using System.Threading.Tasks;
using HtmlAgilityPack;

class Program
{
    private static readonly HttpClient client = new HttpClient();

    static async Task Main(string[] args)
    {
        string url = "http://quotes.toscrape.com/";

        // 向页面发送 GET 请求
        HttpResponseMessage response = await client.GetAsync(url);

        if (response.IsSuccessStatusCode)
        {
            // 使用 HtmlAgilityPack 解析页面内容
            string pageContent = await response.Content.ReadAsStringAsync();
            HtmlDocument htmlDoc = new HtmlDocument();
            htmlDoc.LoadHtml(pageContent);

            // 查找页面上的所有报价
            var quotes = htmlDoc.DocumentNode.SelectNodes("//span[@class='text']");

            // 打印每个报价
            foreach (var quote in quotes)
            {
                Console.WriteLine(quote.InnerText);
            }
        }
        else
        {
            Console.WriteLine($"无法检索页面。状态码：{response.StatusCode}");
        }
    }
}

解释：

  • HttpClient: 向网站发送 GET 请求。
  • HtmlAgilityPack: 解析 HTML 内容并通过选择具有类 text 的元素来提取报价。

使用 Capsolver 和 HttpClient 解决 reCAPTCHA v3 和 reCaptcha v2

当网站使用 reCAPTCHA v3 和 reCaptcha v2 进行安全保护时，您可以使用 Capsolver API 来解决 CAPTCHA。以下是将 Capsolver 与 HttpClient 集成以解决 reCAPTCHA 挑战的方法。

先决条件

  • Newtonsoft.Json 用于处理来自 Capsolver 响应的 JSON 解析：
bash 复制代码 
Install-Package Newtonsoft.Json

示例：使用 Capsolver 解决 reCAPTCHA v2

在本节中，我们将演示 如何使用 Capsolver API 和 HttpClient 解决 reCAPTCHA v2 挑战。

csharp 复制代码 
using System;
using System.Net.Http;
using System.Text;
using System.Threading.Tasks;
using Newtonsoft.Json.Linq;

class Program
{
    private static readonly string apiUrl = "https://api.capsolver.com";
    private static readonly string clientKey = "YOUR_API_KEY"; // 替换为您的 Capsolver API 密钥

    static async Task Main(string[] args)
    {
        try
        {
            // 步骤 1：创建用于解决 reCAPTCHA v3 的任务
            string taskId = await CreateTask();
            Console.WriteLine("任务 ID： " + taskId);

            // 步骤 2：检索任务的结果
            string taskResult = await GetTaskResult(taskId);
            Console.WriteLine("任务结果（CAPTCHA 令牌）： " + taskResult);
        }
        catch (Exception ex)
        {
            Console.WriteLine("错误： " + ex.Message);
        }
    }

    // 创建新 CAPTCHA 解决任务的方法
    private static async Task<string> CreateTask()
    {
        using (HttpClient client = new HttpClient())
        {
            // 请求有效负载
            var requestBody = new
            {
                clientKey = clientKey,
                task = new
                {
                    type = "ReCaptchaV2TaskProxyLess", // 用于无代理 reCAPTCHA v3 的任务类型
                    websiteURL = "", // 要为其解决 CAPTCHA 的网站 URL
                    websiteKey = "" // reCAPTCHA 站点密钥
                }
            };

            // 发送创建任务的请求
            var content = new StringContent(Newtonsoft.Json.JsonConvert.SerializeObject(requestBody), Encoding.UTF8, "application/json");
            HttpResponseMessage response = await client.PostAsync($"{apiUrl}/createTask", content);
            string responseContent = await response.Content.ReadAsStringAsync();

            if (!response.IsSuccessStatusCode)
            {
                throw new Exception("无法创建任务：" + responseContent);
            }

            JObject jsonResponse = JObject.Parse(responseContent);
            if (jsonResponse["errorId"].ToString() != "0")
            {
                throw new Exception("创建任务出错：" + jsonResponse["errorDescription"]);
            }

            // 返回将在下一步中使用的任务 ID
            return jsonResponse["taskId"].ToString();
        }
    }

    // 检索 CAPTCHA 解决任务结果的方法
    private static async Task<string> GetTaskResult(string taskId)
    {
        using (HttpClient client = new HttpClient())
        {
            // 请求有效负载
            var requestBody = new
            {
                clientKey = clientKey,
                taskId = taskId
            };

            var content = new StringContent(Newtonsoft.Json.JsonConvert.SerializeObject(requestBody), Encoding.UTF8, "application/json");

            // 每 5 秒轮询一次任务结果
            while (true)
            {
                HttpResponseMessage response = await client.PostAsync($"{apiUrl}/getTaskResult", content);
                string responseContent = await response.Content.ReadAsStringAsync();

                if (!response.IsSuccessStatusCode)
                {
                    throw new Exception("无法获取任务结果：" + responseContent);
                }

                JObject jsonResponse = JObject.Parse(responseContent);
                if (jsonResponse["errorId"].ToString() != "0")
                {
                    throw new Exception("获取任务结果出错：" + jsonResponse["errorDescription"]);
                }

                // 如果任务已准备就绪，则返回 CAPTCHA 令牌
                if (jsonResponse["status"].ToString() == "ready")
                {
                    return jsonResponse["solution"]["gRecaptchaResponse"].ToString();
                }

                // 在再次检查之前等待 5 秒
                Console.WriteLine("任务仍在处理中，等待 5 秒...");
                await Task.Delay(5000);
            }
        }
    }
}

解释：

  1. CreateTask 方法:

    • 此方法向 Capsolver 的 /createTask 端点发送 POST 请求以创建一个用于解决 reCAPTCHA v2 挑战的新任务。
    • 该请求包括 clientKey、websiteURL、websiteKey，并指定任务类型为 ReCaptchaV2TaskProxyLess。
    • 此方法返回一个 taskId，该 taskId 将用于检索任务结果。

  2. GetTaskResult 方法:

    • 此方法向 /getTaskResult 端点发送 POST 请求以检查先前创建的任务的结果。
    • 它每 5 秒轮询一次任务状态，直到任务完成 (status: ready)。
    • 一旦任务准备就绪，它将返回 gRecaptchaResponse，该响应可用于绕过 CAPTCHA。

示例：使用 Capsolver 解决 reCAPTCHA v3

在本节中，我们将演示 如何使用 Capsolver API 和 HttpClient 解决 reCAPTCHA v3 挑战。

csharp 复制代码 
using System;
using System.Net.Http;
using System.Text;
using System.Threading.Tasks;
using Newtonsoft.Json.Linq;

class Program
{
    private static readonly string apiUrl = "https://api.capsolver.com";
    private static readonly string clientKey = "YOUR_API_KEY"; // 替换为您的 Capsolver API 密钥

    static async Task Main(string[] args)
    {
        try
        {
            // 步骤 1：创建用于解决 reCAPTCHA v3 的任务
            string taskId = await CreateTask();
            Console.WriteLine("任务 ID： " + taskId);

            // 步骤 2：检索任务的结果
            string taskResult = await GetTaskResult(taskId);
            Console.WriteLine("任务结果（CAPTCHA 令牌）： " + taskResult);
        }
        catch (Exception ex)
        {
            Console.WriteLine("错误： " + ex.Message);
        }
    }

    // 创建新 CAPTCHA 解决任务的方法
    private static async Task<string> CreateTask()
    {
        using (HttpClient client = new HttpClient())
        {
            // 请求有效负载
            var requestBody = new
            {
                clientKey = clientKey,
                task = new
                {
                    type = "ReCaptchaV3TaskProxyLess", // 用于无代理 reCAPTCHA v3 的任务类型
                    websiteURL = "", // 要为其解决 CAPTCHA 的网站 URL
                    websiteKey = "" // reCAPTCHA 站点密钥
                }
            };

            // 发送创建任务的请求
            var content = new StringContent(Newtonsoft.Json.JsonConvert.SerializeObject(requestBody), Encoding.UTF8, "application/json");
            HttpResponseMessage response = await client.PostAsync($"{apiUrl}/createTask", content);
            string responseContent = await response.Content.ReadAsStringAsync();

            if (!response.IsSuccessStatusCode)
            {
                throw new Exception("无法创建任务：" + responseContent);
            }

            JObject jsonResponse = JObject.Parse(responseContent);
            if (jsonResponse["errorId"].ToString() != "0")
            {
                throw new Exception("创建任务出错：" + jsonResponse["errorDescription"]);
            }

            // 返回将在下一步中使用的任务 ID
            return jsonResponse["taskId"].ToString();
        }
    }

    // 检索 CAPTCHA 解决任务结果的方法
    private static async Task<string> GetTaskResult(string taskId)
    {
        using (HttpClient client = new HttpClient())
        {
            // 请求有效负载
            var requestBody = new
            {
                clientKey = clientKey,
                taskId = taskId
            };

            var content = new StringContent(Newtonsoft.Json.JsonConvert.SerializeObject(requestBody), Encoding.UTF8, "application/json");

            // 每 5 秒轮询一次任务结果
            while (true)
            {
                HttpResponseMessage response = await client.PostAsync($"{apiUrl}/getTaskResult", content);
                string responseContent = await response.Content.ReadAsStringAsync();

                if (!response.IsSuccessStatusCode)
                {
                    throw new Exception("无法获取任务结果：" + responseContent);
                }

                JObject jsonResponse = JObject.Parse(responseContent);
                if (jsonResponse["errorId"].ToString() != "0")
                {
                    throw new Exception("获取任务结果出错：" + jsonResponse["errorDescription"]);
                }

                // 如果任务已准备就绪，则返回 CAPTCHA 令牌
                if (jsonResponse["status"].ToString() == "ready")
                {
                    return jsonResponse["solution"]["gRecaptchaResponse"].ToString();
                }

                // 在再次检查之前等待 5 秒
                Console.WriteLine("任务仍在处理中，等待 5 秒...");
                await Task.Delay(5000);
            }
        }
    }
}

解释：

  1. CreateTask 方法:

    • 此方法向 Capsolver 的 /createTask 端点发送 POST 请求以创建一个用于解决 reCAPTCHA v3 挑战的新任务。
    • 该请求包括 clientKey、websiteURL、websiteKey，并指定任务类型为 ReCaptchaV3TaskProxyLess。
    • 此方法返回一个 taskId，该 taskId 将用于检索任务结果。

  2. GetTaskResult 方法:

    • 此方法向 /getTaskResult 端点发送 POST 请求以检查先前创建的任务的结果。
    • 它每 5 秒轮询一次任务状态，直到任务完成 (status: ready)。
    • 一旦任务准备就绪，它将返回 gRecaptchaResponse，该响应可用于绕过 CAPTCHA。

C# 中的网页抓取最佳实践

在 C# 中使用网页抓取工具时，请始终遵循以下最佳实践：

  • 尊重 robots.txt: 通过检查 robots.txt 文件，确保网站允许网页抓取。
  • 速率限制: 避免在短时间内发出太多请求，以防止被网站屏蔽。
  • 代理轮换: 使用代理将请求分布到多个 IP 上，以避免被标记为机器人。
  • 伪造标头: 通过向您的 HTTP 请求添加自定义标头（例如 User-Agent）来模拟浏览器式请求。

总结

通过使用 HttpClient 进行网页抓取和 Capsolver 解决 CAPTCHA，您可以有效地自动执行与使用 CAPTCHA 挑战的网站的交互。始终确保您的网页抓取活动符合目标网站的服务条款和法律要求。

祝您抓取愉快！

本指南集成了使用 HtmlAgilityPack 的网页抓取，并演示了如何使用 Capsolver 处理 reCAPTCHA 挑战，仅使用 C# 中的 HttpClient。

合规声明： 本博客提供的信息仅供参考。CapSolver 致力于遵守所有适用的法律和法规。严禁以非法、欺诈或滥用活动使用 CapSolver 网络，任何此类行为将受到调查。我们的验证码解决方案在确保 100% 合规的同时，帮助解决公共数据爬取过程中的验证码难题。我们鼓励负责任地使用我们的服务。如需更多信息，请访问我们的服务条款和隐私政策。

更多

最佳扩展来解决CAPTCHA 2026
解决CAPTCHA 2026的最佳扩展是什么？

在日新月异的在线安全领域，CAPTCHA 挑战已成为互联网用户常见的障碍...

Extension
Logo of CapSolver

Nikolai Smirnov

12-Dec-2025

光代理
Lumiproxy：优质代理用于网络爬虫与数据收集

在本文中，我们将向您展示什么是Lumiproxy以及他们提供的服务。

Partners
Logo of CapSolver

Anh Tuan

12-Dec-2025

生成登录
Genlogin：革新您的网页自动化体验

在本文中，我们将向您展示什么是Genlogin以及他们所提供的服务。

Partners
Logo of CapSolver

Lucas Mitchell

12-Dec-2025

普罗克斯IO
Proxys.io：适用于任何任务的独立代理

在本文中，我们将向您介绍 Proxys.io 以及他们提供的服务。

Partners
Logo of CapSolver

Anh Tuan

12-Dec-2025

标签代理
Tabproxy：高性价比海外住宅代理

在本文中，我们将向您展示什么是Tabproxy以及他们提供的服务。

Partners
Logo of CapSolver

Aloísio Vítor

12-Dec-2025

IP到世界
IP2World 住宅代理：领先的全球IP代理解决方案

在本文中，我们将向您展示什么是IP2World以及他们提供的服务。

Partners
Logo of CapSolver

Ethan Collins

12-Dec-2025