ウェブスクラピングをGolangでCollyを使用して

ウェブスクレイピングは、ウェブサイトからデータを抽出するために使用される方法です。Golangでは、Collyライブラリがそのシンプルさと強力な機能により、ウェブスクレイピングのための人気のあるツールです。このガイドでは、GolangプロジェクトにCollyを設定し、基本的なスクリーパーを構築し、複雑なデータ抽出シナリオを処理し、並列リクエストでスクリーパーを最適化する方法を紹介します。

Golangプロジェクトの設定

まず、システムにGoがインストールされていることを確認してください。以下のコマンドでプロジェクトを初期化し、Collyパッケージを取得してください:

go mod init my_scraper
go get -u github.com/gocolly/colly

これにより、プロジェクトディレクトリが設定され、Collyパッケージがインストールされます。

CapSolverボーナスコードを取得する

自動化予算を即座に増やす！
CapSolverアカウントにチャージするときにボーナスコード CAPN を使用すると、毎回 5%のボーナス を受け取れます — 制限なし。
CapSolverダッシュボードで今すぐ利用してください。
.

基本的なスクリーパーの構築

特定のWikipediaページからすべてのリンクを抽出する基本的なスクリーパーを作成しましょう。

1. 新しいファイル main.go を作成し、次のコードを追加してください:

package main

import (
    "fmt"
    "github.com/gocolly/colly"
)

func main() {
    c := colly.NewCollector(
        colly.AllowedDomains("en.wikipedia.org"),
    )

    c.OnHTML(".mw-parser-output", func(e *colly.HTMLElement) {
        links := e.ChildAttrs("a", "href")
        fmt.Println(links)
    })

    c.Visit("https://en.wikipedia.org/wiki/Web_scraping")
}

このコードは、en.wikipedia.orgに制限された新しいCollyコレクターを初期化し、ページの.mw-parser-outputのdiv内のすべてのリンクを検索して出力するコールバックを設定します。

テーブルデータのスクレイピング

より複雑なタスクとして、テーブルデータをスクレイピングし、CSVファイルに書き込むには、Goのencoding/csvパッケージを使用できます:

1. main.goに次のコードを追加して、テーブルデータをスクレイピングします:

package main

import (
    "encoding/csv"
    "log"
    "os"
    "github.com/gocolly/colly"
)

func main() {
    fName := "data.csv"
    file, err := os.Create(fName)
    if err != nil {
        log.Fatalf("Could not create file, err: %q", err)
        return
    }
    defer file.Close()

    writer := csv.NewWriter(file)
    defer writer.Flush()

    c := colly.NewCollector()

    c.OnHTML("table.wikitable", func(e *colly.HTMLElement) {
        e.ForEach("tr", func(_ int, row *colly.HTMLElement) {
            rowData := []string{}
            row.ForEach("td", func(_ int, cell *colly.HTMLElement) {
                rowData = append(rowData, cell.Text)
            })
            writer.Write(rowData)
        })
    })

    c.Visit("https://en.wikipedia.org/wiki/List_of_programming_languages")
}

このスクリプトは、Wikipediaページからテーブルデータをスクレイピングし、data.csvに書き込みます。

並列リクエストの実行

スクレイピングを高速化するには、Goのゴルーチンを使用して並列リクエストを行います。以下は、複数のページを並列でスクレイピングする方法です:

package main

import (
    "fmt"
    "github.com/gocolly/colly"
    "sync"
)

func scrape(url string, wg *sync.WaitGroup) {
    defer wg.Done()
    
    c := colly.NewCollector()
    
    c.OnHTML("title", func(e *colly.HTMLElement) {
        fmt.Println("Title found:", e.Text)
    })
    
    c.Visit(url)
}

func main() {
    var wg sync.WaitGroup
    urls := []string{
        "https://en.wikipedia.org/wiki/Web_scraping",
        "https://en.wikipedia.org/wiki/Data_mining",
        "https://en.wikipedia.org/wiki/Screen_scraping",
    }

    for _, url := range urls {
        wg.Add(1)
        go scrape(url, &wg)
    }

    wg.Wait()
}

この例では、URLと待機グループを引数に取るscrape関数を定義します。この関数はCollyコレクターを初期化し、ページのタイトルを検出するコールバックを設定し、URLにアクセスします。main関数は待機グループを作成し、URLのリストをループして、各URLに対してゴルーチンを開始して並列でスクレイピングを行います。

これらのステップに従うことで、Collyを使用してGolangで堅牢なウェブスクレイパーを構築し、さまざまなスクレイピングシナリオを処理し、並列リクエストでパフォーマンスを最適化できます。より詳細なチュートリアルや高度な使用法については、GoとCollyを使ったウェブスクレイピングのリソースを参照してください。

その他のGo用ウェブスクレイピングライブラリ

Collyに加えて、Golangでウェブスクレイピングに使用できる他の優れたライブラリもあります:

• GoQuery: jQueryに似た構文と機能セットを提供し、jQueryのように簡単にウェブスクレイピング操作を行うことができます。
• Ferret: 移植可能で拡張性があり、高速なウェブスクレイピングシステムで、ウェブからのデータ抽出を簡略化することを目的としています。Ferretは独自の宣言型言語を使用してデータ抽出に焦点を当てています。
• Selenium: ヘッドレスブラウザの機能で知られており、動的コンテンツのスクレイピングに適しています。Goの公式サポートはありませんが、Golangプロジェクトで使用可能なポートが存在します。

結論

ウェブスクレイピングは、ウェブサイトからデータを効率的に抽出するための強力で重要なスキルです。GolangとCollyライブラリを使用することで、さまざまなデータ抽出シナリオに対応する堅牢なスクリーパーを構築できます。これは、単純なリンクの収集から、複雑なテーブルデータの抽出、並列リクエストによるパフォーマンスの最適化に至るまでです。

このガイドでは、以下の内容を学びました:

1. Collyライブラリを使用してGolangプロジェクトを設定する方法。
2. ページのリンクを抽出する基本的なスクリーパーを構築する方法。
3. テーブルデータをスクレイピングし、CSVファイルに書き込むなどのより複雑なデータ抽出を処理する方法。
4. 並列リクエストを使用してスクリーパーを最適化する方法。

これらのステップに従うことで、Collyのシンプルさと強力な機能を活用して、効果的で効率的なGolangのウェブスクレイパーを構築できます。より高度な使用法や詳細なチュートリアルについては、GoとCollyを使ったウェブスクレイピングのリソースを探索してください。

FAQ

1. CollyはGolangでウェブスクレイピングを学ぶ初心者に適していますか？

はい。Collyはシンプルで初心者向けに設計されており、DOMパース、リクエスト処理、コールバック、並列処理などの強力な機能も提供しています。新しいGo開発者でも、わずかなコードで機能するスクリーパーをすぐに構築できます。

2. Collyはテーブルやリストなどの構造化されたコンテンツをスクレイピングできますか？

はい。Collyは特定のHTMLノードと属性を選択できるため、テーブル、リスト、リンク、その他の構造化された要素を簡単に抽出できます。また、Goの標準ライブラリを使用してCSVやJSONなどのファイルに結果を直接保存することも可能です。

3. Collyのウェブスクレイパーを高速化する方法はありますか？

Goのゴルーチンを使用して複数のページを並列処理することで、スクレイピングのパフォーマンスを向上させることができます。複数のスクリーパーを同時に実行し、待機グループで同期することで、特に大規模なデータセットや複数のURLをクロールするタスクにおいて、スクレイピングのパフォーマンスが大幅に向上します。