वेब स्क्रैपिंग के लिए HttpClient (C# लाइब्रेरी) का उपयोग कैसे करें

ब्लॉग

All

ब्लॉग

All

वेब स्क्रैपिंग के लिए HttpClient (C# लाइब्रेरी) का उपयोग कैसे करें

Rajinder Singh

Deep Learning Researcher

13-Sep-2024

Google reCAPTCHA सारख्या CAPTCHA आव्हाने सामान्यतः वेबसाइटद्वारे बॉट्सला ब्लॉक करण्यासाठी आणि त्यांच्या सामग्रीमध्ये स्वायत्त प्रवेश रोखण्यासाठी वापरली जातात. अशा आव्हानांना प्रोग्रामॅटिकली बायपास करण्यासाठी, तुम्ही Capsolver सारख्या सेवा वापरू शकता ज्या या CAPTCHAs सोडवण्यासाठी API-आधारित सोल्युशन्स ऑफर करतात.

या मार्गदर्शकात, आम्ही तुम्हाला कसे दर्शवू:

C# HttpClient आणि HtmlAgilityPack वापरून वेबसाइट स्क्रॅप करा.
Capsolver API वापरून reCAPTCHA आव्हाने सोडवा.

C# HttpClient सह वेब स्क्रॅपिंग

C# मध्ये, HttpClient वर्ग सामान्यतः HTTP विनंती पाठवण्यासाठी आणि वेबसाइट्सपासून प्रतिसाद प्राप्त करण्यासाठी वापरला जातो. तुम्ही वेब पृष्ठांमधून डेटा काढण्यासाठी HtmlAgilityPack सारख्या HTML पार्सरसह हे एकत्र करू शकता.

पूर्वअटी

HTML सामग्री पार्स करण्यास मदत करण्यासाठी NuGet पॅकेज मॅनेजर वापरून HtmlAgilityPack लायब्ररी स्थापित करा:

bash Copy

Install-Package HtmlAgilityPack

JSON प्रतिसाद हाताळण्यासाठी Newtonsoft.Json स्थापित करा:

bash Copy

Install-Package Newtonsoft.Json

उदाहरण: "Quotes to Scrape" स्क्रॅप करणे

चला HttpClient आणि HtmlAgilityPack वापरून Quotes to Scrape वेबसाइटवरील कोट्स स्क्रॅप करूया.

csharp Copy

using System;
using System.Net.Http;
using System.Threading.Tasks;
using HtmlAgilityPack;

class Program
{
    private static readonly HttpClient client = new HttpClient();

    static async Task Main(string[] args)
    {
        string url = "http://quotes.toscrape.com/";

        // पृष्ठावर एक GET विनंती पाठवा
        HttpResponseMessage response = await client.GetAsync(url);

        if (response.IsSuccessStatusCode)
        {
            // HtmlAgilityPack वापरून पृष्ठ सामग्री पार्स करा
            string pageContent = await response.Content.ReadAsStringAsync();
            HtmlDocument htmlDoc = new HtmlDocument();
            htmlDoc.LoadHtml(pageContent);

            // पृष्ठावरील सर्व कोट्स शोधा
            var quotes = htmlDoc.DocumentNode.SelectNodes("//span[@class='text']");

            // प्रत्येक कोट प्रिंट करा
            foreach (var quote in quotes)
            {
                Console.WriteLine(quote.InnerText);
            }
        }
        else
        {
            Console.WriteLine($"पृष्ठ मिळवण्यात अयशस्वी झाले. स्थिती कोड: {response.StatusCode}");
        }
    }
}

स्पष्टीकरण:

HttpClient: वेबसाइटवर एक GET विनंती पाठवतो.
HtmlAgilityPack: HTML सामग्री पार्स करतो आणि text वर्ग असलेले घटक निवडून कोट्स काढतो.

HttpClient वापरून Capsolver सह reCAPTCHA v3 आणि reCaptcha v2 सोडवणे

जेव्हा एक वेबसाइट सुरक्षेसाठी reCAPTCHA v3 आणि reCaptcha v2 वापरतो, तेव्हा तुम्ही Capsolver API वापरून CAPTCHA सोडवू शकता. खालीलप्रमाणे तुम्ही Capsolver ला HttpClient सह एकत्रित करू शकता जेणेकरून reCAPTCHA आव्हाने सोडवता येतील.

पूर्वअटी

Newtonsoft.Json Capsolver प्रतिसादांमधून JSON पार्सिंग हाताळण्यासाठी वापरला जातो:

bash Copy

Install-Package Newtonsoft.Json

उदाहरण: Capsolver सह reCAPTCHA v2 सोडवणे

या विभागात, आम्ही Capsolver API आणि HttpClient वापरून कसे reCAPTCHA v2 आव्हाने सोडवायची हे दर्शवू.

csharp Copy

using System;
using System.Net.Http;
using System.Text;
using System.Threading.Tasks;
using Newtonsoft.Json.Linq;

class Program
{
    private static readonly string apiUrl = "https://api.capsolver.com";
    private static readonly string clientKey = "YOUR_API_KEY"; // तुमचा Capsolver API कीने बदलवा

    static async Task Main(string[] args)
    {
        try
        {
            // पायरी 1: reCAPTCHA v3 सोडवण्यासाठी एक काम तयार करा
            string taskId = await CreateTask();
            Console.WriteLine("कार्य आयडी: " + taskId);

            // पायरी 2: कार्याचा निकाल मिळवा
            string taskResult = await GetTaskResult(taskId);
            Console.WriteLine("कार्याचा निकाल (CAPTCHA टोकन): " + taskResult);
        }
        catch (Exception ex)
        {
            Console.WriteLine("त्रुटी: " + ex.Message);
        }
    }

    // एक नवीन CAPTCHA-सोडवणारे काम तयार करण्याची पद्धत
    private static async Task<string> CreateTask()
    {
        using (HttpClient client = new HttpClient())
        {
            // विनंती पेलोड
            var requestBody = new
            {
                clientKey = clientKey,
                task = new
                {
                    type = "ReCaptchaV2TaskProxyLess", // प्रॉक्सीशिवाय reCAPTCHA v3 साठी कार्य प्रकार
                    websiteURL = "", // CAPTCHA सोडवण्यासाठी वेबसाइट URL
                    websiteKey = "" // reCAPTCHA साइट की
                }
            };

            // काम तयार करण्यासाठी विनंती पाठवा
            var content = new StringContent(Newtonsoft.Json.JsonConvert.SerializeObject(requestBody), Encoding.UTF8, "application/json");
            HttpResponseMessage response = await client.PostAsync($"{apiUrl}/createTask", content);
            string responseContent = await response.Content.ReadAsStringAsync();

            if (!response.IsSuccessStatusCode)
            {
                throw new Exception("काम तयार करण्यात अयशस्वी झाले: " + responseContent);
            }

            JObject jsonResponse = JObject.Parse(responseContent);
            if (jsonResponse["errorId"].ToString() != "0")
            {
                throw new Exception("काम तयार करण्यात त्रुटी: " + jsonResponse["errorDescription"]);
            }

            // पुढील पायरीत वापरण्यासाठी कार्य आयडी परत करा
            return jsonResponse["taskId"].ToString();
        }
    }

    // CAPTCHA-सोडवणारे कार्याचा निकाल मिळवण्याची पद्धत
    private static async Task<string> GetTaskResult(string taskId)
    {
        using (HttpClient client = new HttpClient())
        {
            // विनंती पेलोड
            var requestBody = new
            {
                clientKey = clientKey,
                taskId = taskId
            };

            var content = new StringContent(Newtonsoft.Json.JsonConvert.SerializeObject(requestBody), Encoding.UTF8, "application/json");

            // दर 5 सेकंदांनी कार्याचा निकाल पोल करा
            while (true)
            {
                HttpResponseMessage response = await client.PostAsync($"{apiUrl}/getTaskResult", content);
                string responseContent = await response.Content.ReadAsStringAsync();

                if (!response.IsSuccessStatusCode)
                {
                    throw new Exception("कार्याचा निकाल मिळवण्यात अयशस्वी झाले: " + responseContent);
                }

                JObject jsonResponse = JObject.Parse(responseContent);
                if (jsonResponse["errorId"].ToString() != "0")
                {
                    throw new Exception("कार्याचा निकाल मिळवण्यात त्रुटी: " + jsonResponse["errorDescription"]);
                }

                // जर कार्य तयार असेल तर CAPTCHA टोकन परत करा
                if (jsonResponse["status"].ToString() == "ready")
                {
                    return jsonResponse["solution"]["gRecaptchaResponse"].ToString();
                }

                // पुन्हा तपासण्यापूर्वी 5 सेकंद वाट पहा
                Console.WriteLine("काम अजून प्रोसेसिंग करत आहे, 5 सेकंद वाट पाहत आहे...");
                await Task.Delay(5000);
            }
        }
    }
}

स्पष्टीकरण:

CreateTask पद्धत:
- ही पद्धत reCAPTCHA v2 आव्हानांना सोडवण्यासाठी एक नवीन काम तयार करण्यासाठी Capsolver च्या /createTask एंडपॉइंटला POST विनंती पाठवते.
- विनंतीत clientKey, websiteURL, websiteKey समाविष्ट आहे आणि कार्य प्रकार ReCaptchaV2TaskProxyLess म्हणून दर्शवते.
- पद्धत एक taskId परत करते, जो कार्य निकाल मिळवण्यासाठी वापरला जाईल.
GetTaskResult पद्धत:
- ही पद्धत आधीच तयार केलेल्या कार्याचा निकाल तपासण्यासाठी /getTaskResult एंडपॉइंटला POST विनंती पाठवते.
- कार्य पूर्ण होईपर्यंत (स्थिती: तयार) तो दर 5 सेकंदांनी कार्य स्थिती पोल करत राहतो.
- एकदा कार्य तयार झाल्यावर, तो gRecaptchaResponse परत करतो, जो CAPTCHA बायपास करण्यासाठी वापरला जाऊ शकतो.

उदाहरण: Capsolver सह reCAPTCHA v3 सोडवणे

या विभागात, आम्ही Capsolver API आणि HttpClient वापरून कसे reCAPTCHA v3 आव्हाने सोडवायची हे दर्शवू.

csharp Copy

using System;
using System.Net.Http;
using System.Text;
using System.Threading.Tasks;
using Newtonsoft.Json.Linq;

class Program
{
    private static readonly string apiUrl = "https://api.capsolver.com";
    private static readonly string clientKey = "YOUR_API_KEY"; // तुमचा Capsolver API कीने बदलवा

    static async Task Main(string[] args)
    {
        try
        {
            // पायरी 1: reCAPTCHA v3 सोडवण्यासाठी एक काम तयार करा
            string taskId = await CreateTask();
            Console.WriteLine("कार्य आयडी: " + taskId);

            // पायरी 2: कार्याचा निकाल मिळवा
            string taskResult = await GetTaskResult(taskId);
            Console.WriteLine("कार्याचा निकाल (CAPTCHA टोकन): " + taskResult);
        }
        catch (Exception ex)
        {
            Console.WriteLine("त्रुटी: " + ex.Message);
        }
    }

    // एक नवीन CAPTCHA-सोडवणारे काम तयार करण्याची पद्धत
    private static async Task<string> CreateTask()
    {
        using (HttpClient client = new HttpClient())
        {
            // विनंती पेलोड
            var requestBody = new
            {
                clientKey = clientKey,
                task = new
                {
                    type = "ReCaptchaV3TaskProxyLess", // प्रॉक्सीशिवाय reCAPTCHA v3 साठी कार्य प्रकार
                    websiteURL = "", // CAPTCHA सोडवण्यासाठी वेबसाइट URL
                    websiteKey = "" // reCAPTCHA साइट की
                }
            };

            // काम तयार करण्यासाठी विनंती पाठवा
            var content = new StringContent(Newtonsoft.Json.JsonConvert.SerializeObject(requestBody), Encoding.UTF8, "application/json");
            HttpResponseMessage response = await client.PostAsync($"{apiUrl}/createTask", content);
            string responseContent = await response.Content.ReadAsStringAsync();

            if (!response.IsSuccessStatusCode)
            {
                throw new Exception("काम तयार करण्यात अयशस्वी झाले: " + responseContent);
            }

            JObject jsonResponse = JObject.Parse(responseContent);
            if (jsonResponse["errorId"].ToString() != "0")
            {
                throw new Exception("काम तयार करण्यात त्रुटी: " + jsonResponse["errorDescription"]);
            }

            // पुढील पायरीत वापरण्यासाठी कार्य आयडी परत करा
            return jsonResponse["taskId"].ToString();
        }
    }

    // CAPTCHA-सोडवणारे कार्याचा निकाल मिळवण्याची पद्धत
    private static async Task<string> GetTaskResult(string taskId)
    {
        using (HttpClient client = new HttpClient())
        {
            // विनंती पेलोड
            var requestBody = new
            {
                clientKey = clientKey,
                taskId = taskId
            };

            var content = new StringContent(Newtonsoft.Json.JsonConvert.SerializeObject(requestBody), Encoding.UTF8, "application/json");

            // दर 5 सेकंदांनी कार्याचा निकाल पोल करा
            while (true)
            {
                HttpResponseMessage response = await client.PostAsync($"{apiUrl}/getTaskResult", content);
                string responseContent = await response.Content.ReadAsStringAsync();

                if (!response.IsSuccessStatusCode)
                {
                    throw new Exception("कार्याचा निकाल मिळवण्यात अयशस्वी झाले: " + responseContent);
                }

                JObject jsonResponse = JObject.Parse(responseContent);
                if (jsonResponse["errorId"].ToString() != "0")
                {
                    throw new Exception("कार्याचा निकाल मिळवण्यात त्रुटी: " + jsonResponse["errorDescription"]);
                }

                // जर कार्य तयार असेल तर CAPTCHA टोकन परत करा
                if (jsonResponse["status"].ToString() == "ready")
                {
                    return jsonResponse["solution"]["gRecaptchaResponse"].ToString();
                }

                // पुन्हा तपासण्यापूर्वी 5 सेकंद वाट पहा
                Console.WriteLine("काम अजून प्रोसेसिंग करत आहे, 5 सेकंद वाट पाहत आहे...");
                await Task.Delay(5000);
            }
        }
    }
}

स्पष्टीकरण:

CreateTask पद्धत:
- ही पद्धत reCAPTCHA v3 आव्हानांना सोडवण्यासाठी एक नवीन काम तयार करण्यासाठी Capsolver च्या /createTask एंडपॉइंटला POST विनंती पाठवते.
- विनंतीत clientKey, websiteURL, websiteKey समाविष्ट आहे आणि कार्य प्रकार ReCaptchaV3TaskProxyLess म्हणून दर्शवते.
- पद्धत एक taskId परत करते, जो कार्य निकाल मिळवण्यासाठी वापरला जाईल.
GetTaskResult पद्धत:
- ही पद्धत आधीच तयार केलेल्या कार्याचा निकाल तपासण्यासाठी /getTaskResult एंडपॉइंटला POST विनंती पाठवते.
- कार्य पूर्ण होईपर्यंत (स्थिती: तयार) तो दर 5 सेकंदांनी कार्य स्थिती पोल करत राहतो.
- एकदा कार्य तयार झाल्यावर, तो gRecaptchaResponse परत करतो, जो CAPTCHA बायपास करण्यासाठी वापरला जाऊ शकतो.

C# मध्ये वेब स्क्रॅपिंग सर्वोत्तम पद्धती

जेव्हा C# मध्ये वेब स्क्रॅपिंग टूल्स वापरत असाल, तेव्हा नेहमीच या सर्वोत्तम पद्धतींचे पालन करा:

robots.txt चे आदर करा: खात्री करा की वेबसाइट robots.txt फाइल तपासून वेब स्क्रॅपिंगला परवानगी देते.
रेट लिमिटिंग: लहान कालावधीत खूप जास्त विनंती करण्यापासून रोखण्यासाठी वेबसाइटद्वारे ब्लॉक होण्यापासून रोखण्यासाठी टाळा.
प्रॉक्सी रोटेशन: बॉट म्हणून चिन्हांकित होण्यापासून रोखण्यासाठी अनेक IP वर विनंती वितरीत करण्यासाठी प्रॉक्सी वापरा.
हेडर स्पूफ करा: तुमच्या HTTP विनंतींमध्ये User-Agent सारख्या कस्टम हेडर जोडून ब्राउझरसारख्या विनंतींचे अनुकरण करा.

निष्कर्ष

HttpClient वापरून वेब स्क्रॅपिंग आणि Capsolver वापरून CAPTCHA सोडवून, तुम्ही प्रभावीपणे CAPTCHA आव्हाने वापरणाऱ्या वेबसाइट्सशी संवाद स्वायत्त करू शकता. नेहमीच खात्री करा की तुमच्या वेब स्क्रॅपिंग क्रियाकलाप लक्ष्य वेबसाइटच्या सेवा आणि कायदेशीर आवश्यकतांच्या अटींचे पालन करतात.

शुभ स्क्रॅपिंग!

हा मार्गदर्शक HtmlAgilityPack वापरून वेब स्क्रॅपिंग एकत्रित करतो आणि C# मध्ये फक्त HttpClient वापरून Capsolver सह reCAPTCHA आव्हाने कसे हाताळायची ते दर्शविते.

अनुपालन अस्वीकरण: इस ब्लॉग पर प्रदान की गई जानकारी केवल सूचनात्मक उद्देश्यों के लिए है। CapSolver सभी लागू कानूनों और विनियमों का पालन करने के लिए प्रतिबद्ध है। CapSolver नेटवर्क का उपयोग अवैध, धोखाधड़ी या दुरुपयोग करने वाली गतिविधियों के लिए करना सख्त वर्जित है और इसकी जांच की जाएगी। हमारे कैप्चा समाधान उपयोगकर्ता अनुभव को बेहतर बनाने के साथ-साथ सार्वजनिक डेटा क्रॉलिंग के दौरान कैप्चा कठिनाइयों को हल करने में 100% अनुपालन सुनिश्चित करते हैं। हम अपनी सेवाओं के जिम्मेदार उपयोग की प्रोत्साहना करते हैं। अधिक जानकारी के लिए, कृपया हमारी सेवा की शर्तें और गोपनीयता नीति पर जाएं।