SeleniumBase と Python を使用した 2024 年の Web スクレイピング

# scrape_quotes.py

from seleniumbase import BaseCase

class QuotesScraper(BaseCase):
    def test_scrape_quotes(self):
        self.open("https://quotes.toscrape.com/")
        quotes = self.find_elements("div.quote")
        for quote in quotes:
            text = quote.find_element("span.text").text
            author = quote.find_element("small.author").text
            print(f"\"{text}\" - {author}")

if __name__ == "__main__":
    QuotesScraper().main()

python scrape_quotes.py

“The world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.” - Albert Einstein
...

# scrape_quotes_pagination.py

from seleniumbase import BaseCase

class QuotesPaginationScraper(BaseCase):
    def test_scrape_all_quotes(self):
        self.open("https://quotes.toscrape.com/")
        while True:
            quotes = self.find_elements("div.quote")
            for quote in quotes:
                text = quote.find_element("span.text").text
                author = quote.find_element("small.author").text
                print(f"\"{text}\" - {author}")

            # 次のページがあるかどうかを確認する
            if self.is_element_visible('li.next > a'):
                self.click('li.next > a')
            else:
                break

if __name__ == "__main__":
    QuotesPaginationScraper().main()

# scrape_dynamic_content.py

from seleniumbase import BaseCase

class TagsScraper(BaseCase):
    def test_scrape_tags(self):
        self.open("https://quotes.toscrape.com/")
        # 'Top Ten tags' リンクをクリックして、タグを動的に読み込む
        self.click('a[href="/tag/"]')
        self.wait_for_element("div.tags-box")
        tags = self.find_elements("span.tag-item > a")
        for tag in tags:
            tag_name = tag.text
            print(f"Tag: {tag_name}")

if __name__ == "__main__":
    TagsScraper().main()

# scrape_with_login.py

from seleniumbase import BaseCase

class LoginScraper(BaseCase):
    def test_login_and_scrape(self):
        self.open("https://quotes.toscrape.com/login")
        # ログインフォームに入力する
        self.type("input#username", "testuser")
        self.type("input#password", "testpass")
        self.click("input[type='submit']")

        # ログアウトリンクをチェックすることで、ログインを確認する
        if self.is_element_visible('a[href="/logout"]'):
            print("Logged in successfully!")

            # ここで引用をスクレイピングする
            self.open("https://quotes.toscrape.com/")
            quotes = self.find_elements("div.quote")
            for quote in quotes:
                text = quote.find_element("span.text").text
                author = quote.find_element("small.author").text
                print(f"\"{text}\" - {author}")
        else:
            print("Login failed.")

if __name__ == "__main__":
    LoginScraper().main()

# scrape_table.py

from seleniumbase import BaseCase

class TableScraper(BaseCase):
    def test_scrape_table(self):
        self.open("https://www.example.com/table-page")
        # テーブルが読み込まれるまで待つ
        self.wait_for_element("table#data-table")
        rows = self.find_elements("table#data-table > tbody > tr")
        for row in rows:
            cells = row.find_elements("td")
            row_data = [cell.text for cell in cells]
            print(row_data)

if __name__ == "__main__":
    TableScraper().main()

# scrape_quotes_with_capsolver.py
from seleniumbase import BaseCase
from selenium.webdriver.chrome.options import Options as ChromeOptions
import os

class QuotesScraper(BaseCase):
    def setUp(self):
        super().setUp()

        # CapSolver拡張機能フォルダへのパス
        # このパスがCapSolver Chrome拡張機能フォルダを正しく指していることを確認してください
        extension_path = os.path.abspath('capsolver_extension')

        # Chromeオプションを構成する
        options = ChromeOptions()
        options.add_argument(f"--load-extension={extension_path}")
        options.add_argument("--disable-gpu")
        options.add_argument("--no-sandbox")

        # 新しいオプションを使用してドライバーを更新する
        self.driver.quit()  # 既存のドライバーインスタンスを閉じる
        self.driver = self.get_new_driver(browser_name="chrome", options=options)

    def test_scrape_quotes(self):
        # reCAPTCHAのあるターゲットサイトに移動する
        self.open("https://recaptcha-demo.appspot.com/recaptcha-v2-checkbox.php")

        # CAPTCHAの有無をチェックし、必要に応じて解決する
        if self.is_element_visible("iframe[src*='recaptcha']"):
            # CapSolver拡張機能がCAPTCHAを自動的に処理する
            print("CAPTCHA detected, waiting for CapSolver extension to solve it...")

            # CAPTCHAが解決されるまで待つ
            self.sleep(10)  # 平均解決時間に基づいて時間を調整する

        # CAPTCHAが解決された後にスクレイピングのアクションを実行する
        # 例として、ボタンをクリックしたり、テキストを抽出したりする
        self.assert_text("reCAPTCHA demo", "h1")  # ページの内容を確認する

    def tearDown(self):
        # テスト後にクリーンアップしてブラウザを閉じる
        self.driver.quit()
        super().tearDown()

if __name__ == "__main__":
    QuotesScraper().main()

python scrape_quotes_with_capsolver.py