वेब स्क्रैपिंग के लिए curl_cffi का उपयोग कैसे करें

sudo apt-get install libcurl4-openssl-dev

pip install curl_cffi

from curl_cffi import requests

# GET अनुरोध करें
response = requests.get('https://httpbin.org/get')

# स्थिति कोड जांचें
print(f'स्थिति कोड: {response.status_code}')

# प्रतिक्रिया सामग्री प्रिंट करें
print('प्रतिक्रिया बॉडी:', response.text)

from curl_cffi import requests
from bs4 import BeautifulSoup

# स्क्रैप करने के लिए URL
url = 'http://quotes.toscrape.com/'

# GET अनुरोध करें
response = requests.get(url)

# BeautifulSoup का उपयोग करके HTML सामग्री को पार्स करें
soup = BeautifulSoup(response.content, 'html.parser')

# सभी उद्धरण तत्व खोजें
quotes = soup.find_all('div', class_='quote')

# उद्धरण और लेखकों को निकालें और प्रदर्शित करें
for quote in quotes:
    text = quote.find('span', class_='text').get_text()
    author = quote.find('small', class_='author').get_text()
    print(f'{text} — {author}')

“जिस दुनिया को हमने बनाया है, वह हमारे सोचने की एक प्रक्रिया है। इसे हमारे सोचने को बदले बिना नहीं बदला जा सकता।” — अल्बर्ट आइंस्टीन
“यह हमारे चुनाव हैं, हैरी, जो दिखाते हैं कि हम वास्तव में क्या हैं, हमारी क्षमताओं से कहीं अधिक।” — जे.के. राउलिंग
... (अतिरिक्त उद्धरण)

import os
import capsolver
from curl_cffi import requests

# संवेदनशील जानकारी के लिए पर्यावरण चर का उपयोग करने पर विचार करें
capsolver.api_key = os.getenv("CAPSOLVER_API_KEY", "Your CapSolver API Key")
PAGE_URL = os.getenv("PAGE_URL", "https://example.com")  # कैप्चा वाले पेज का URL
PAGE_KEY = os.getenv("PAGE_SITE_KEY", "SITE_KEY")        # कैप्चा के लिए साइट की

def solve_recaptcha_v2(url, site_key):
    solution = capsolver.solve({
        "type": "ReCaptchaV2TaskProxyless",
        "websiteURL": url,
        "websiteKey": site_key,
        "proxy": PROXY
    })
    return solution['solution']['gRecaptchaResponse']

def main():
    print("ReCaptcha V2 को हल करना...")
    captcha_solution = solve_recaptcha_v2(PAGE_URL, PAGE_KEY)
    print("कैप्चा हल हो गया!")

if __name__ == "__main__":
    main()

def solve_captcha(url, site_key):
    solution = capsolver.solve({
        "type": "captchaTaskProxyless",
        "websiteURL": url,
        "websiteKey": site_key
    })
    return solution['solution']['gRecaptchaResponse']

from curl_cffi import requests

# प्रॉक्सी सेटिंग्स को परिभाषित करें
proxies = {
    'http': 'http://username:password@proxyserver:port',
    'https': 'https://username:password@proxyserver:port',
}

# प्रॉक्सी का उपयोग करके GET अनुरोध करें
response = requests.get('https://httpbin.org/ip', proxies=proxies)

# प्रतिक्रिया सामग्री प्रिंट करें
print('प्रतिक्रिया बॉडी:', response.text)

from curl_cffi import requests
from http.cookiejar import CookieJar

# CookieJar इंस्टेंस बनाएँ
cookie_jar = CookieJar()

# कुकी जार के साथ एक सत्र बनाएँ
session = requests.Session()
session.cookies = cookie_jar

# GET अनुरोध करें
response = session.get('https://httpbin.org/cookies/set?name=value')

# कुकीज़ प्रदर्शित करें
for cookie in session.cookies:
    print(f'{cookie.name}: {cookie.value}')

from curl_cffi import requests

# कस्टम हेडर को परिभाषित करें
headers = {
    'User-Agent': 'Mozilla/5.0 (compatible)',
    'Accept-Language': 'en-US,en;q=0.5',
}

# POST अनुरोध में भेजने के लिए डेटा
data = {
    'username': 'testuser',
    'password': 'testpass',
}

# POST अनुरोध करें
response = requests.post('https://httpbin.org/post', headers=headers, data=data)

# JSON प्रतिक्रिया प्रिंट करें
print('प्रतिक्रिया JSON:', response.json())