C#中的Web抓取：避免被阻挡

namespace WebScraping {
    public class Program {
        public static void Main() {
            // 爬虫逻辑...
        }
    }
}

using System;
using RestSharp;

class Program
{
    static void Main()
    {
        // 创建一个新的 RestClient 实例，目标 URL
        var client = new RestClient("https://www.example.com");
        
        // 创建一个新的 RestRequest 实例，使用 GET 方法
        var request = new RestRequest(Method.GET);
        
        // 执行请求并获取响应
        IRestResponse response = client.Execute(request);

        // 检查请求是否成功
        if (response.IsSuccessful)
        {
            // 打印响应的 HTML 内容
            Console.WriteLine(response.Content);
        }
        else
        {
            Console.WriteLine("获取内容失败");
        }
    }
}

using HtmlAgilityPack;
using System;
using RestSharp;

class Program
{
    static void Main()
    {
        // 创建一个新的 RestClient 实例，目标 URL
        var client = new RestClient("https://www.example.com");
        
        // 创建一个新的 RestRequest 实例，使用 GET 方法
        var request = new RestRequest(Method.GET);
        
        // 执行请求并获取响应
        IRestResponse response = client.Execute(request);

        // 检查请求是否成功
        if (response.IsSuccessful)
        {
            // 将 HTML 内容加载到 HtmlDocument 中
            var htmlDoc = new HtmlDocument();
            htmlDoc.LoadHtml(response.Content);

            // 选择匹配指定 XPath 查询的节点
            var nodes = htmlDoc.DocumentNode.SelectNodes("//h1");
            
            // 遍历选定的节点并打印它们的内文本
            foreach (var node in nodes)
            {
                Console.WriteLine(node.InnerText);
            }
        }
        else
        {
            Console.WriteLine("获取内容失败");
        }
    }
}

using HtmlAgilityPack;
using System;
using RestSharp;

class Program
{
    static void Main()
    {
        // 创建一个新的 RestClient 实例，目标 URL
        var client = new RestClient("https://www.example.com/blog");
        
        // 创建一个新的 RestRequest 实例，使用 GET 方法
        var request = new RestRequest(Method.GET);
        
        // 执行请求并获取响应
        IRestResponse response = client.Execute(request);

        // 检查请求是否成功
        if (response.IsSuccessful)
        {
            // 将 HTML 内容加载到 HtmlDocument 中
            var htmlDoc = new HtmlDocument();
            htmlDoc.LoadHtml(response.Content);

            // 选择匹配指定 XPath 查询的节点
            var nodes = htmlDoc.DocumentNode.SelectNodes("//div[@class='post']");

            // 遍历选定的节点并提取标题和链接
            foreach (var node in nodes)```csharp
{
    // 遍历选定的节点并提取标题和链接
    foreach (var node in nodes)
    {
        var titleNode = node.SelectSingleNode(".//h2/a");
        var title = titleNode.InnerText;
        var link = titleNode.Attributes["href"].Value;
        
        Console.WriteLine("标题: " + title);
        Console.WriteLine("链接: " + link);
        Console.WriteLine();
    }
}
else
{
    Console.WriteLine("获取内容失败");
}
}
}

# pip install requests
import requests
import time

# TODO: 设置您的配置
api_key = "YOUR_API_KEY"  # 您的 CapSolver API 密钥
site_key = "6Le-wvkSAAAAAPBMRTvw0Q4Muexq9bi0DJwx_mJ-"  # 目标网站的站点密钥
site_url = ""  # 目标网站的页面 URL

def capsolver():
    payload = {
        "clientKey": api_key,
        "task": {
            "type": 'ReCaptchaV2TaskProxyLess',
            "websiteKey": site_key,
            "websiteURL": site_url
        }
    }
    res = requests.post("https://api.capsolver.com/createTask", json=payload)
    resp = res.json()
    task_id = resp.get("taskId")
    if not task_id:
        print("创建任务失败:", res.text)
        return
    print(f"获取任务 ID: {task_id} / 获取结果中...")

    while True:
        time.sleep(3)  # 延迟
        payload = {"clientKey": api_key, "taskId": task_id}
        res = requests.post("https://api.capsolver.com/getTaskResult", json=payload)
        resp = res.json()
        status = resp.get("status")
        if status == "ready":
            return resp.get("solution", {}).get('gRecaptchaResponse')
        if status == "failed" or resp.get("errorId"):
            print("解决失败！响应:", res.text)
            return

token = capsolver()
print(token)