Web Scraping के लिए RestSharp (C# लाइब्रेरी) का उपयोग कैसे करें

RestSharp (C# लायब्रेरी) का उपयोग करके वेब स्क्रैपिंग कैसे करें

Rajinder Singh

Deep Learning Researcher

17-Sep-2024

वेब स्क्रॅपिंग ही वेबसाइट्समधून डेटा काढून घेण्याची एक महत्त्वाची तंत्र आहे, पण आधुनिक वेब अॅप्लिकेशन्स बऱ्याचदा ऑटोमेटेड अॅक्सेस रोखण्यासाठी CAPTCHA चॅलेंजेस सारख्या सुरक्षा उपाययोजना लागू करतात. CAPTCHA चॅलेंजेस, जसे की Google reCAPTCHA, हे मानवी वापरकर्त्यांना आणि बॉट्सना वेगळे करण्यासाठी डिझाइन केलेले आहेत, जेणेकरून ऑटोमेटेड स्क्रिप्ट्सना सामग्री प्रभावीपणे स्क्रॅप करण्यास आव्हान निर्माण होते.

या अडथळ्यांवर मात करण्यासाठी, डेव्हलपर्स HTTP विनंत्या सोप्या बनवणारे आणि CAPTCHA सोडवण्याचे काम हाताळणारे टूल्स आणि सेवांचा फायदा घेऊ शकतात. RestSharp ही एक शक्तिशाली आणि वापरण्यास सोपी C# लायब्रेरी आहे जी RESTful APIs ला HTTP विनंत्या करण्याच्या प्रक्रियेला सोपी करते. HtmlAgilityPack सारख्या HTML पार्सरसोबत जोडल्यावर, ती वेब स्क्रॅपिंग कामांसाठी एक मजबूत उपाय बनते.

तथापि, स्क्रॅपिंग दरम्यान CAPTCHA चॅलेंजेस येण्याने तुमची ऑटोमेशन प्रक्रिया थांबू शकते. येथेच Capsolver कामाला येते. Capsolver API-आधारित उपाययोजना ऑफर करतो ज्यामुळे CAPTCHAs प्रोग्रामॅटिकली सोडवता येतात, ज्यामुळे तुमचे स्क्रॅपिंग स्क्रिप्ट्स या आव्हानांना बायपास करू शकतात आणि इच्छित सामग्रीला सहजपणे प्रवेश मिळवू शकतात.

या व्यापक मार्गदर्शकात, आम्ही तुम्हाला यातून घेऊन जाऊ:

RestSharp आणि HtmlAgilityPack वापरून वेबसाइट्स स्क्रॅप करा.
Capsolver API वापरून reCAPTCHA चॅलेंजेस सोडवा.

RestSharp सह वेब स्क्रॅपिंग

C# मध्ये, RestSharp ही HTTP विनंत्या हाताळण्यासाठी आणि RESTful APIs सोबत संवाद साधण्यासाठी एक लोकप्रिय लायब्रेरी आहे. ती अंतर्गत HttpClient च्या तुलनेत HTTP संवादांच्या अनेक पैलूंना सोपी करते. तुम्ही RestSharp ला HtmlAgilityPack सारख्या HTML पार्सरसोबत जोडू शकता जेणेकरून वेब पेजेसवरून डेटा काढता येईल.

पूर्वअटी

NuGet पॅकेज मॅनेजर वापरून RestSharp लायब्रेरी इन्स्टॉल करा:
bash Copy
```
Install-Package RestSharp
```
HTML सामग्री पार्स करण्यास मदत करण्यासाठी HtmlAgilityPack लायब्रेरी इन्स्टॉल करा:
bash Copy
```
Install-Package HtmlAgilityPack
```
JSON प्रतिसाद हाताळण्यासाठी Newtonsoft.Json इन्स्टॉल करा:
bash Copy
```
Install-Package Newtonsoft.Json
```

उदाहरण: "Quotes to Scrape" स्क्रॅपिंग

चला RestSharp आणि HtmlAgilityPack वापरून Quotes to Scrape वेबसाइटवरून कोट्स स्क्रॅप करूया.

csharp Copy

using System;
using System.Threading.Tasks;
using HtmlAgilityPack;
using RestSharp;

class Program
{
    static async Task Main(string[] args)
    {
        string url = "http://quotes.toscrape.com/";

        // RestSharp क्लायंट initialize करा
        var client = new RestClient(url);

        // एक GET विनंती तयार करा
        var request = new RestRequest(Method.GET);

        // विनंती अंमलात आणा
        var response = await client.ExecuteAsync(request);

        if (response.IsSuccessful)
        {
            // HtmlAgilityPack वापरून पृष्ठ सामग्री पार्स करा
            HtmlDocument htmlDoc = new HtmlDocument();
            htmlDoc.LoadHtml(response.Content);

            // पृष्ठावरील सर्व कोट्स शोधा
            var quotes = htmlDoc.DocumentNode.SelectNodes("//span[@class='text']");

            // प्रत्येक कोट प्रिंट करा
            foreach (var quote in quotes)
            {
                Console.WriteLine(quote.InnerText);
            }
        }
        else
        {
            Console.WriteLine($"पृष्ठ मिळविण्यात अपयशी ठरले. स्थिती कोड: {response.StatusCode}");
        }
    }
}

स्पष्टीकरण:

RestSharp क्लायंट आणि विनंती: लक्ष्य URL सह RestClient initialize करते आणि GET पद्धतीसाठी RestRequest तयार करते.
विनंती अंमलात आणणे: विनंती असिंक्रोनसली पाठवते आणि प्रतिसाद यशस्वी आहे की नाही हे तपासते.
HtmlAgilityPack: प्रतिसादातून HTML सामग्री पार्स करतो आणि text क्लास असलेल्या घटकांना निवडून कोट्स काढतो.

RestSharp वापरून Capsolver सह reCAPTCHA v2 आणि reCAPTCHA v3 सोडवणे

जेव्हा एखादी वेबसाइट सुरक्षेसाठी reCAPTCHA v2 किंवा v3 वापरते, तेव्हा तुम्ही Capsolver API वापरून CAPTCHA सोडवू शकता. खाली तुम्ही Capsolver ला RestSharp सोबत कसे एकत्रित करू शकता ते दाखवले आहे जेणेकरून reCAPTCHA आव्हानांना सोडवता येईल.

पूर्वअटी

Newtonsoft.Json हा Capsolver प्रतिसादातून JSON पार्सिंग हाताळण्यासाठी वापरला जातो:
bash Copy
```
Install-Package Newtonsoft.Json
```

उदाहरण: Capsolver सह reCAPTCHA v2 सोडवणे

या सेक्शनमध्ये, आम्ही Capsolver API आणि RestSharp वापरून reCAPTCHA v2 आव्हानांना कसे सोडवायचे हे दाखवू.

csharp Copy

using System;
using System.Threading.Tasks;
using Newtonsoft.Json;
using Newtonsoft.Json.Linq;
using RestSharp;

class Program
{
    private static readonly string apiUrl = "https://api.capsolver.com";
    private static readonly string clientKey = "YOUR_API_KEY"; // तुमचा Capsolver API कीने बदलवा

    static async Task Main(string[] args)
    {
        try
        {
            // पायरी 1: reCAPTCHA v2 सोडवण्यासाठी एक टास्क तयार करा
            string taskId = await CreateTask();
            Console.WriteLine("टास्क ID: " + taskId);

            // पायरी 2: टास्कचा परिणाम मिळवा
            string taskResult = await GetTaskResult(taskId);
            Console.WriteLine("टास्क परिणाम (CAPTCHA टोकन): " + taskResult);
        }
        catch (Exception ex)
        {
            Console.WriteLine("त्रुटी: " + ex.Message);
        }
    }

    // एक नवीन CAPTCHA-सोडवणे टास्क तयार करण्यासाठी पद्धत
    private static async Task<string> CreateTask()
    {
        // RestSharp क्लायंट initialize करा
        var client = new RestClient(apiUrl);

        // विनंती पेलोड
        var requestBody = new
        {
            clientKey = clientKey,
            task = new
            {
                type = "ReCaptchaV2TaskProxyLess", // प्रॉक्सीशिवाय reCAPTCHA v2 साठी टास्क प्रकार
                websiteURL = "https://www.example.com", // CAPTCHA सोडवण्यासाठी वेबसाइट URL
                websiteKey = "SITE_KEY_HERE" // reCAPTCHA साइट की
            }
        };

        // एक POST विनंती तयार करा
        var request = new RestRequest("createTask", Method.POST);
        request.AddJsonBody(requestBody);

        // विनंती अंमलात आणा
        var response = await client.ExecuteAsync(request);

        if (!response.IsSuccessful)
        {
            throw new Exception("टास्क तयार करण्यात अपयशी ठरले: " + response.Content);
        }

        JObject jsonResponse = JObject.Parse(response.Content);
        if (jsonResponse["errorId"].ToString() != "0")
        {
            throw new Exception("टास्क तयार करण्यात त्रुटी: " + jsonResponse["errorDescription"]);
        }

        // पुढील पायरीत वापरण्यासाठी टास्क ID परत करा
        return jsonResponse["taskId"].ToString();
    }

    // CAPTCHA-सोडवणे टास्कचा परिणाम मिळविण्यासाठी पद्धत
    private static async Task<string> GetTaskResult(string taskId)
    {
        // RestSharp क्लायंट initialize करा
        var client = new RestClient(apiUrl);

        // विनंती पेलोड
        var requestBody = new
        {
            clientKey = clientKey,
            taskId = taskId
        };

        // एक POST विनंती तयार करा
        var request = new RestRequest("getTaskResult", Method.POST);
        request.AddJsonBody(requestBody);

        // प्रत्येक 5 सेकंदांनी टास्कच्या परिणामासाठी पोल करा
        while (true)
        {
            var response = await client.ExecuteAsync(request);

            if (!response.IsSuccessful)
            {
                throw new Exception("टास्क परिणाम मिळविण्यात अपयशी ठरले: " + response.Content);
            }

            JObject jsonResponse = JObject.Parse(response.Content);
            if (jsonResponse["errorId"].ToString() != "0")
            {
                throw new Exception("टास्क परिणाम मिळविण्यात त्रुटी: " + jsonResponse["errorDescription"]);
            }

            // जर टास्क तयार असेल, तर CAPTCHA टोकन परत करा
            if (jsonResponse["status"].ToString() == "ready")
            {
                return jsonResponse["solution"]["gRecaptchaResponse"].ToString();
            }

            // पुन्हा तपासण्यापूर्वी 5 सेकंद वाट पहा
            Console.WriteLine("टास्क अजूनही प्रोसेस होत आहे, 5 सेकंद वाट पहा...");
            await Task.Delay(5000);
        }
    }
}

स्पष्टीकरण:

CreateTask पद्धत:
- RestSharp क्लायंट आणि विनंती: RestClient initialize करतो आणि POST पद्धतीसह createTask एंडपॉइंटसाठी RestRequest तयार करतो.
- विनंती पेलोड: clientKey, websiteURL, websiteKey सारख्या आवश्यक पॅरामीटर्स सेट करतो आणि टास्क प्रकार ReCaptchaV2TaskProxyLess म्हणून स्पष्ट करतो.
- अंमलात आणणे: विनंती पाठवते आणि taskId मिळविण्यासाठी प्रतिसाद पार्स करते.
GetTaskResult पद्धत:
- RestSharp क्लायंट आणि विनंती: RestClient initialize करतो आणि POST पद्धतीसह getTaskResult एंडपॉइंटसाठी RestRequest तयार करतो.
- पोलिंग: टास्क पूर्ण होईपर्यंत (स्थिती: तयार) प्रत्येक 5 सेकंदांनी टास्क स्थितीचे पोलिंग करते.
- परिणाम मिळविणे: टास्क तयार झाल्यानंतर, तो gRecaptchaResponse काढतो, जो CAPTCHA बायपास करण्यासाठी वापरला जाऊ शकतो.

उदाहरण: Capsolver सह reCAPTCHA v3 सोडवणे

या सेक्शनमध्ये, आम्ही Capsolver API आणि RestSharp वापरून reCAPTCHA v3 आव्हानांना कसे सोडवायचे हे दाखवू.

csharp Copy

using System;
using System.Threading.Tasks;
using Newtonsoft.Json;
using Newtonsoft.Json.Linq;
using RestSharp;

class Program
{
    private static readonly string apiUrl = "https://api.capsolver.com";
    private static readonly string clientKey = "YOUR_API_KEY"; // तुमचा Capsolver API कीने बदलवा

    static async Task Main(string[] args)
    {
        try
        {
            // पायरी 1: reCAPTCHA v3 सोडवण्यासाठी एक टास्क तयार करा
            string taskId = await CreateTask();
            Console.WriteLine("टास्क ID: " + taskId);

            // पायरी 2: टास्कचा परिणाम मिळवा
            string taskResult = await GetTaskResult(taskId);
            Console.WriteLine("टास्क परिणाम (CAPTCHA टोकन): " + taskResult);
        }
        catch (Exception ex)
        {
            Console.WriteLine("त्रुटी: " + ex.Message);
        }
    }

    // एक नवीन CAPTCHA-सोडवणे टास्क तयार करण्यासाठी पद्धत
    private static async Task<string> CreateTask()
    {
        // RestSharp क्लायंट initialize करा
        var client = new RestClient(apiUrl);

        // विनंती पेलोड
        var requestBody = new
        {
            clientKey = clientKey,
            task = new
            {
                type = "ReCaptchaV3TaskProxyLess", // प्रॉक्सीशिवाय reCAPTCHA v3 साठी टास्क प्रकार
                websiteURL = "https://www.example.com", // CAPTCHA सोडवण्यासाठी वेबसाइट URL
                websiteKey = "SITE_KEY_HERE", // reCAPTCHA साइट की
                minScore = 0.3, // इच्छित किमान स्कोर
                pageAction = "your_action" // साइटवर परिभाषित केलेला क्रिया नाव
            }
        };

        // एक POST विनंती तयार करा
        var request = new RestRequest("createTask", Method.POST);
        request.AddJsonBody(requestBody);

        // विनंती अंमलात आणा
        var response = await client.ExecuteAsync(request);

        if (!response.IsSuccessful)
        {
            throw new Exception("टास्क तयार करण्यात अपयशी ठरले: " + response.Content);
        }

        JObject jsonResponse = JObject.Parse(response.Content);
        if (jsonResponse["errorId"].ToString() != "0")
        {
            throw new Exception("टास्क तयार करण्यात त्रुटी: " + jsonResponse["errorDescription"]);
        }

        // पुढील पायरीत वापरण्यासाठी टास्क ID परत करा
        return jsonResponse["taskId"].ToString();
    }

    // CAPTCHA-सोडवणे टास्कचा परिणाम मिळविण्यासाठी पद्धत
    private static async Task<string> GetTaskResult(string taskId)
    {
        // RestSharp क्लायंट initialize करा
        var client = new RestClient(apiUrl);

        // विनंती पेलोड
        var requestBody = new
        {
            clientKey = clientKey,
            taskId = taskId
        };

        // एक POST विनंती तयार करा
        var request = new RestRequest("getTaskResult", Method.POST);
        request.AddJsonBody(requestBody);

        // प्रत्येक 5 सेकंदांनी टास्कच्या परिणामासाठी पोल करा
        while (true)
        {
            var response = await client.ExecuteAsync(request);

            if (!response.IsSuccessful)
            {
                throw new Exception("टास्क परिणाम मिळविण्यात अपयशी ठरले: " + response.Content);
            }

            JObject jsonResponse = JObject.Parse(response.Content);
            if (jsonResponse["errorId"].ToString() != "0")
            {
                throw new Exception("टास्क परिणाम मिळविण्यात त्रुटी: " + jsonResponse["errorDescription"]);
            }

            // जर टास्क तयार असेल, तर CAPTCHA टोकन परत करा
            if (jsonResponse["status"].ToString() == "ready")
            {
                return jsonResponse["solution"]["gRecaptchaResponse"].ToString();
            }

            // पुन्हा तपासण्यापूर्वी 5 सेकंद वाट पहा
            Console.WriteLine("टास्क अजूनही प्रोसेस होत आहे, 5 सेकंद वाट पहा...");
            await Task.Delay(5000);
        }
    }
}

स्पष्टीकरण:

CreateTask पद्धत:
- RestSharp क्लायंट आणि विनंती: RestClient आणि createTask एंडपॉइंटसाठी RestRequest सेट करते.
- विनंती पेलोड: minScore आणि pageAction सारखे reCAPTCHA v3 च्या विशिष्ट अतिरिक्त पॅरामीटर्स समाविष्ट करतो.
- अंमलात आणणे: विनंती पाठवते आणि taskId मिळवते.
GetTaskResult पद्धत:
- v2 उदाहरणासारखे, ते टास्क परिणामासाठी Capsolver API पोल करते आणि टास्क तयार झाल्यानंतर CAPTCHA टोकन मिळवते.

C# मध्ये वेब स्क्रॅपिंग सर्वोत्तम पद्धती

जेव्हा तुम्ही C# मध्ये वेब स्क्रॅपिंग टूल्स वापरता, तेव्हा नेहमीच या सर्वोत्तम पद्धतींचे पालन करा:

robots.txt चा आदर करा: robots.txt फाइल तपासून वेबसाइट वेब स्क्रॅपिंगला परवानगी देते की नाही हे सुनिश्चित करा.
दराची मर्यादा: वेबसाइटने तुम्हाला ब्लॉक करण्यापासून रोखण्यासाठी, लहान कालावधीत खूप जास्त विनंत्या करण्यापासून रोखा.
प्रॉक्सी रोटेशन: बॉट म्हणून ओळखले जाण्यापासून रोखण्यासाठी, एकाच IP वरून विनंत्यांचे वितरण करण्यासाठी प्रॉक्सी वापरा.
हेडर्स स्पूफ करा: तुमच्या HTTP विनंत्यांमध्ये User-Agent सारखे कस्टम हेडर्स जोडून ब्राउझरसारख्या विनंत्यांचे अनुकरण करा.

निष्कर्ष

RestSharp वापरून वेब स्क्रॅपिंग आणि Capsolver वापरून CAPTCHA सोडवून, तुम्ही CAPTCHA आव्हानांचा वापर करणाऱ्या वेबसाइट्ससोबत परस्परसंवाद प्रभावीपणे ऑटोमेट करू शकता. नेहमीच सुनिश्चित करा की तुमच्या वेब स्क्रॅपिंग क्रियाकलाप लक्ष्य वेबसाइटच्या सेवा आणि कायदेशीर आवश्यकतांच्या अटींचे पालन करतात.

शुभ स्क्रॅपिंग!

अनुपालन अस्वीकरण: इस ब्लॉग पर प्रदान की गई जानकारी केवल सूचनात्मक उद्देश्यों के लिए है। CapSolver सभी लागू कानूनों और विनियमों का पालन करने के लिए प्रतिबद्ध है। CapSolver नेटवर्क का उपयोग अवैध, धोखाधड़ी या दुरुपयोग करने वाली गतिविधियों के लिए करना सख्त वर्जित है और इसकी जांच की जाएगी। हमारे कैप्चा समाधान उपयोगकर्ता अनुभव को बेहतर बनाने के साथ-साथ सार्वजनिक डेटा क्रॉलिंग के दौरान कैप्चा कठिनाइयों को हल करने में 100% अनुपालन सुनिश्चित करते हैं। हम अपनी सेवाओं के जिम्मेदार उपयोग की प्रोत्साहना करते हैं। अधिक जानकारी के लिए, कृपया हमारी सेवा की शर्तें और गोपनीयता नीति पर जाएं।