Cómo usar Requests (biblioteca de Python) para el web scraping

El web scraping te permite extraer datos de sitios web, pero los sitios web pueden implementar medidas anti-scraping como captchas o limitación de frecuencia. En esta guía, presentaremos la biblioteca Requests y proporcionaremos un ejemplo de cómo raspar datos de un sitio web en vivo: Quotes to Scrape. Además, exploraremos cómo manejar los desafíos reCAPTCHA v2 usando Requests y Capsolver.

¿Qué es Requests?

Requests es una biblioteca de Python simple y poderosa que se utiliza para realizar solicitudes HTTP. Es ampliamente utilizada para tareas como interactuar con API, descargar páginas web y raspar datos. Con su API fácil de usar, es fácil enviar solicitudes, manejar sesiones y tratar con encabezados HTTP y cookies.

Características clave:

• API simple para enviar solicitudes
• Soporte para sesiones y cookies
• Manejo automático de redirecciones y proxies
• Encabezados personalizados para simular solicitudes de navegador

Requisitos previos

Instala la biblioteca Requests usando pip:

pip install requests

Ejemplo: Raspar Quotes to Scrape

Comencemos con un ejemplo básico de web scraping donde extraeremos citas del sitio web Quotes to Scrape usando Requests.

import requests
from bs4 import BeautifulSoup

# URL de la página a raspar
url = 'http://quotes.toscrape.com/'

# Envía una solicitud GET a la página
response = requests.get(url)

# Verifica si la solicitud fue exitosa
if response.status_code == 200:
    # Analiza el contenido de la página usando BeautifulSoup
    soup = BeautifulSoup(response.text, 'html.parser')

    # Encuentra todas las citas en la página
    quotes = soup.find_all('span', class_='text')

    # Imprime cada cita
    for quote in quotes:
        print(quote.text)
else:

print(f"No se pudo recuperar la página. Código de estado: {response.status_code}")
# Comprueba el estado de la respuesta e imprime el contenido si es exitoso
    if response.status_code == 200:
        print("¡Se ha omitido el captcha correctamente y se ha obtenido la página!")
        print(response.text)
    else:
        print(f"Error al obtener la página. Código de estado: {response.status_code}")

if __name__ == "__main__":
    main()