pip install scrapegraphai capsolver

playwright install

import json
from scrapegraphai.graphs import SmartScraperGraph

# स्क्रॅपिंग पाइपलाइनसाठी कॉन्फिगरेशन परिभाषित करा
graph_config = {
    "llm": {
        "api_key": "YOUR_OPENAI_APIKEY",
        "model": "openai/gpt-4o-mini",
    },
    "verbose": True,
    "headless": False,
}

# SmartScraperGraph इन्स्टन्स तयार करा
smart_scraper_graph = SmartScraperGraph(
    prompt="माझ्यासाठी सर्व उद्धरणे त्यांच्या वर्णनांसह यादीबद्ध करा",
    source="https://quotes.toscrape.com/",
    config=graph_config
)

# पाइपलाइन चालवा
result = smart_scraper_graph.run()
print(json.dumps(result, indent=4))

import json
from scrapegraphai.graphs import SmartScraperGraph

# स्क्रॅपिंग पाइपलाइनसाठी कॉन्फिगरेशन परिभाषित करा
graph_config = {
    "llm": {
        "model": "ollama/llama3.1",
        "temperature": 0,
        "format": "json",  # Ollama ला स्पष्टपणे फॉरमॅट निर्दिष्ट करणे आवश्यक आहे
        # "base_url": "http://localhost:11434", # Ollama URL मनमानी सेट करा
    },
    "verbose": True,
    "headless": False
}

# SmartScraperGraph इन्स्टन्स तयार करा
smart_scraper_graph = SmartScraperGraph(
    prompt="माझ्यासाठी सर्व उद्धरणे त्यांच्या वर्णनांसह यादीबद्ध करा",
    source="https://quotes.toscrape.com/",
    config=graph_config
)

# पाइपलाइन चालवा
result = smart_scraper_graph.run()
print(json.dumps(result, indent=4))

import capsolver
import os
import json
from scrapegraphai.graphs import SmartScraperGraph

# संवेदनशील माहितीसाठी पर्यावरण चर वापरण्याचा विचार करा
PROXY = os.getenv("PROXY", "http://username:password@host:port")
capsolver.api_key = os.getenv("CAPSOLVER_API_KEY", "Your Capsolver API Key")
PAGE_URL = os.getenv("PAGE_URL", "PAGE_URL")
PAGE_KEY = os.getenv("PAGE_SITE_KEY", "PAGE_SITE_KEY")

def solve_recaptcha_v2(url, key):
    solution = capsolver.solve({
        "type": "ReCaptchaV2Task",
        "websiteURL": url,
        "websiteKey": key,
        "proxy": PROXY
    })
    return solution['solution']['gRecaptchaResponse']

def main():
    print("ReCaptcha v2 सोडवणे")
    solution = solve_recaptcha_v2(PAGE_URL, PAGE_KEY)
    print("सोल्यूशन: ", solution)

# स्क्रॅपिंग पाइपलाइनसाठी कॉन्फिगरेशन परिभाषित करा
graph_config = {
    "llm": {
        "api_key": "YOUR_OPENAI_APIKEY",
        "model": "openai/gpt-4o-mini",
    },
    "verbose": True,
    "headless": False,
}

# SmartScraperGraph इन्स्टन्स तयार करा
smart_scraper_graph = SmartScraperGraph(
    prompt="प्रत्येक उद्धरणाचे वर्णन शोधा.",
    source="https://quotes.toscrape.com/",
    config=graph_config
)

# पाइपलाइन चालवा
result = smart_scraper_graph.run()
print(json.dumps(result, indent=4))