Cómo usar curl_cffi para raspado web

sudo apt-get install libcurl4-openssl-dev

pip install curl_cffi

from curl_cffi import requests

# Realizar una solicitud GET
response = requests.get('https://httpbin.org/get')

# Comprobar el código de estado
print(f'Código de Estado: {response.status_code}')

# Imprimir el contenido de la respuesta
print('Cuerpo de la Respuesta:', response.text)

from curl_cffi import requests
from bs4 import BeautifulSoup

# URL a raspar
url = 'http://quotes.toscrape.com/'

# Realizar una solicitud GET
response = requests.get(url)

# Analizar el contenido HTML usando BeautifulSoup
soup = BeautifulSoup(response.content, 'html.parser')

# Encontrar todos los elementos de cita
quotes = soup.find_all('div', class_='quote')

# Extraer y mostrar las citas y los autores
for quote in quotes:
    text = quote.find('span', class_='text').get_text()
    author = quote.find('small', class_='author').get_text()
    print(f'{text} — {author}')

“The world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.” — Albert Einstein
“It is our choices, Harry, that show what we truly are, far more than our abilities.” — J.K. Rowling
... (citas adicionales)

import os
import capsolver
from curl_cffi import requests

# Considere usar variables de entorno para información sensible
capsolver.api_key = os.getenv("CAPSOLVER_API_KEY", "Su clave de API de CapSolver")
PAGE_URL = os.getenv("PAGE_URL", "https://example.com")  # URL de la página con el captcha
PAGE_KEY = os.getenv("PAGE_SITE_KEY", "SITE_KEY")        # Clave del sitio para el captcha

def solve_recaptcha_v2(url, site_key):
    solution = capsolver.solve({
        "type": "ReCaptchaV2TaskProxyless",
        "websiteURL": url,
        "websiteKey": site_key,
        "proxy": PROXY
    })
    return solution['solution']['gRecaptchaResponse']

def main():
    print("Resolviendo reCaptcha V2...")
    captcha_solution = solve_recaptcha_v2(PAGE_URL, PAGE_KEY)
    print("Captcha Resuelto!")

if __name__ == "__main__":
    main()

from curl_cffi import requests

# Definir la configuración del proxy
proxies = {
    'http': 'http://usuario:contraseña@servidorproxy:puerto',
    'https': 'https://usuario:contraseña@servidorproxy:puerto',
}

# Realizar una solicitud GET usando el proxy
response = requests.get('https://httpbin.org/ip', proxies=proxies)

# Imprimir el contenido de la respuesta
print('Cuerpo de la Respuesta:', response.text)

from curl_cffi import requests
from http.cookiejar import CookieJar

# Crear una instancia de CookieJar
cookie_jar = CookieJar()

# Crear una sesión con el frasco de cookies
session = requests.Session()
session.cookies = cookie_jar

# Realizar una solicitud GET
response = session.get('https://httpbin.org/cookies/set?name=value')

# Mostrar las cookies
for cookie in session.cookies:
    print(f'{cookie.name}: {cookie.value}')

from curl_cffi import requests

# Definir encabezados personalizados
headers = {
    'User-Agent': 'Mozilla/5.0 (compatible)',
    'Accept-Language': 'es-ES,es;q=0.5',
}

# Datos a enviar en la solicitud POST
data = {
    'username': 'usuarioprueba',
    'password': 'contraseñaprueba',
}

# Realizar una solicitud POST
response = requests.post('https://httpbin.org/post', headers=headers, data=data)

# Imprimir la respuesta JSON
print('Respuesta JSON:', response.json())