如何使用curl_cffi进行网页抓取

sudo apt-get install libcurl4-openssl-dev

pip install curl_cffi

from curl_cffi import requests

# 执行 GET 请求
response = requests.get('https://httpbin.org/get')

# 检查状态码
print(f'状态码: {response.status_code}')

# 打印响应内容
print('响应正文：', response.text)

from curl_cffi import requests
from bs4 import BeautifulSoup

# 要抓取的 URL
url = 'http://quotes.toscrape.com/'

# 执行 GET 请求
response = requests.get(url)

# 使用 BeautifulSoup 解析 HTML 内容
soup = BeautifulSoup(response.content, 'html.parser')

# 查找所有引言元素
quotes = soup.find_all('div', class_='quote')

# 提取并显示引言和作者
for quote in quotes:
    text = quote.find('span', class_='text').get_text()
    author = quote.find('small', class_='author').get_text()
    print(f'{text} — {author}')

“我们创造的世界是我们思维的产物。如果不改变我们的思维方式，我们就无法改变这个世界。” — 阿尔伯特·爱因斯坦
“哈利，是我们自己的选择，而不是我们的能力，显示了我们真正的本质。” — J.K. 罗琳
... （其他引言）

import os
import capsolver
from curl_cffi import requests

# 考虑使用环境变量存储敏感信息
capsolver.api_key = os.getenv("CAPSOLVER_API_KEY", "Your CapSolver API Key")
PAGE_URL = os.getenv("PAGE_URL", "https://example.com")  # 包含验证码页面的 URL
PAGE_KEY = os.getenv("PAGE_SITE_KEY", "SITE_KEY")        # 验证码的站点密钥

def solve_recaptcha_v2(url, site_key):
    solution = capsolver.solve({
        "type": "ReCaptchaV2TaskProxyless",
        "websiteURL": url,
        "websiteKey": site_key,
        "proxy": PROXY
    })
    return solution['solution']['gRecaptchaResponse']

def main():
    print("正在解决 reCaptcha V2...")
    captcha_solution = solve_recaptcha_v2(PAGE_URL, PAGE_KEY)
    print("验证码已解决！")

if __name__ == "__main__":
    main()

from curl_cffi import requests

# 定义代理设置
proxies = {
    'http': 'http://username:password@proxyserver:port',
    'https': 'https://username:password@proxyserver:port',
}

# 使用代理执行 GET 请求
response = requests.get('https://httpbin.org/ip', proxies=proxies)

# 打印响应内容
print('响应正文：', response.text)

from curl_cffi import requests
from http.cookiejar import CookieJar

# 创建 CookieJar 实例
cookie_jar = CookieJar()

# 使用 Cookie jar 创建会话
session = requests.Session()
session.cookies = cookie_jar

# 执行 GET 请求
response = session.get('https://httpbin.org/cookies/set?name=value')

# 显示 Cookie
for cookie in session.cookies:
    print(f'{cookie.name}: {cookie.value}')

from curl_cffi import requests

# 定义自定义标头
headers = {
    'User-Agent': 'Mozilla/5.0 (compatible)',
    'Accept-Language': 'en-US,en;q=0.5',
}

# 要在 POST 请求中发送的数据
data = {
    'username': 'testuser',
    'password': 'testpass',
}

# 执行 POST 请求
response = requests.post('https://httpbin.org/post', headers=headers, data=data)

# 打印 JSON 响应
print('响应 JSON：', response.json())