Ubah User-Agent di Selenium | Langkah-langkah & Praktik Terbaik

Mengganti User Agent di Selenium adalah langkah penting untuk banyak tugas scraping web. Ini membantu menyamarkan skrip otomasi sebagai browser biasa, sehingga menghindari deteksi oleh situs web. Panduan ini akan memandu Anda melalui langkah-langkah untuk mengganti User Agent Google Chrome di Selenium dan memberikan praktik terbaik untuk memastikan tugas scraping web Anda berjalan lancar.

Daftar isi

1. Memahami User Agent di Selenium
2. User Agent Default di Selenium
3. Mengapa Mengganti User Agent?
   a. Mengganti User Agent di Google Chrome Selenium
   b. Mengganti User Agent di Firefox Selenium
4. Praktik Terbaik untuk Akses Situs Web yang Lebih Lancar
5. Kesimpulan

Memahami User Agent di Selenium

String User Agent adalah bagian penting dari header HTTP yang memainkan peran penting dalam komunikasi antara browser dan server web. Ini memberikan informasi spesifik tentang browser, sistem operasi, dan perangkat yang digunakan untuk mengirim permintaan. Berikut adalah contoh string User Agent yang umum:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36

String ini menunjukkan bahwa permintaan berasal dari browser Chrome yang berjalan pada sistem operasi Windows.

Namun, ketika menggunakan Selenium untuk otomasi web, string User Agent default dapat mengungkap bahwa permintaan dibuat oleh skrip otomasi. Situs web yang dilengkapi dengan sistem anti-bot dapat dengan mudah mendeteksi ini dan memblokir akses untuk mencegah scraping atau pengujian otomatis. Ini membuat pentingnya mengcustom string User Agent di Selenium agar permintaan terlihat seperti berasal dari browser nyata, sehingga mengurangi risiko deteksi dan pemblokiran.

Untuk mencapai ini, Anda dapat mengubah string User Agent di Selenium agar sesuai dengan browser standar, meningkatkan ketahanan dan efektivitas skrip otomasi Anda.

User Agent Default di Selenium

Ya, Selenium menggunakan string User Agent untuk mengidentifikasi dirinya saat membuat permintaan HTTP. Secara default, Selenium akan menggunakan string User Agent yang terkait dengan browser yang sedang diotomasi. Artinya, ketika Anda menjalankan skrip Selenium dengan Chrome WebDriver, string User Agent akan mencerminkan User Agent default untuk Chrome.

Namun, string User Agent default ini terkadang dapat memberi tahu server web bahwa permintaan berasal dari skrip otomasi, membuat operasi berbasis Selenium rentan terdeteksi dan diblokir oleh sistem anti-bot. Mengcustom string User Agent dapat membantu mengatasi masalah ini, memungkinkan skrip Anda menyatu lebih halus dengan lalu lintas browser biasa.

Klaim Kode Bonus CapSolver Anda

Meningkatkan anggaran otomasi Anda secara instan!
Gunakan kode bonus CAPN saat menambahkan dana ke akun CapSolver Anda untuk mendapatkan tambahan 5% bonus pada setiap pengisian ulang — tanpa batas.
Klaim sekarang di Dashboard CapSolver Anda
.

Mengapa Mengganti User Agent?

Seperti yang telah disebutkan sebelumnya, bidang User Agent berisi informasi tentang jenis browser, versi, mesin, dan sistem operasi yang membuat permintaan. Jika situs target menerima banyak permintaan dari User Agent yang sama dalam waktu singkat, ada alasan untuk mencurigai bahwa permintaan berasal dari pengguna yang sama atau satu bot. Administrator situs kemudian dapat memblokir permintaan dari User Agent tertentu untuk mencegah akses lebih lanjut. Terutama dalam skenario di mana jumlah besar data perlu diambil, kemampuan untuk mengganti User Agent untuk meniru pengguna yang berbeda sangat penting. Ini dapat meningkatkan signifikan tingkat keberhasilan upaya scraping Anda.

Ubah User Agent di Google Chrome Selenium

Jika Anda belum menginstal perpustakaan selenium secara lokal, Anda dapat menggunakan perintah berikut untuk menginstalnya:

pip install selenium

Impor perpustakaan:

from selenium import webdriver

Kemudian inisialisasi objek Chrome Options dan atur User Agent khusus:

custom_user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36"

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--user-agent={custom_user_agent}')

Berikutnya, buat instance baru dari ChromeDriver dan buat permintaan ke situs target:

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://httpbin.org/user-agent")

HTTPBin adalah layanan debugging permintaan web yang menampilkan User Agent dari permintaan. Jika kode benar, Anda seharusnya melihat User Agent khusus kami ditampilkan seperti yang ditunjukkan pada gambar di bawah ini:

Dalam kode di atas, nilai custom_user_agent bersifat statis. Jika Anda ingin menggunakan User Agent berbeda setiap kali Anda membuka browser, Anda dapat mengumpulkan berbagai string User Agent secara manual dan mengkompilasinya ke dalam daftar. Kemudian, pilih secara acak nilai dari daftar tersebut setiap kali. Alternatifnya, Anda dapat menggunakan perpustakaan fake-useragent, yang menyediakan cara sederhana untuk menghasilkan string User Agent acak secara langsung. Instal perpustakaan dengan perintah berikut:

pip install fake-useragent

Menggunakan fake-useragent sangat sederhana:

from fake_useragent import UserAgent
ua = UserAgent()

# Dapatkan string User Agent browser acak
print(ua.random)

# Atau dapatkan string User Agent dari browser tertentu
print(ua.chrome)
# Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36
print(ua.firefox)
# Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/115.0
print(ua.safari)
# Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.2 Safari/605.1.15

Ketika dikombinasikan dengan Selenium, kode lengkapnya terlihat seperti ini:

import time
from selenium import webdriver
from fake_useragent import UserAgent

ua = UserAgent()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--user-agent={ua.random}')

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://httpbin.org/user-agent")

time.sleep(10)
driver.quit()

Pengaturan ini memungkinkan kami untuk mengacak User Agent yang digunakan dengan Google Chrome yang diberdayakan Selenium.

Mengganti User Agent di Firefox Selenium

Selenium dapat menggerakkan tidak hanya Google Chrome tetapi juga Firefox. Perbedaannya hanya terletak pada pergantian webdriver.ChromeOptions() menjadi webdriver.FirefoxOptions(). Berikut adalah kode lengkapnya:

import time
from selenium import webdriver
from fake_useragent import UserAgent

ua = UserAgent()
firefox_options = webdriver.FirefoxOptions()
firefox_options.add_argument(f'--user-agent={ua.random}')

driver = webdriver.Firefox(options=firefox_options)
driver.get("https://httpbin.org/user-agent")

time.sleep(10)
driver.quit()

Anda dapat melihat bahwa User Agent telah berhasil diubah di halaman web:

Praktik Terbaik untuk Akses Situs Web yang Lebih Lancar

Tujuan mengganti User Agent adalah untuk mencegah situs target memblokir akses kami. Pemblokiran berdasarkan User Agent hanyalah salah satu dari banyak langkah anti-scraping dan anti-bot. Lebih umumnya, situs web memberlakukan tantangan seperti CAPTCHA (seperti recaptcha dll.) untuk menyaring bot. Tantangan ini sering kali kompleks dan secara signifikan menghambat akses ke situs web.

Menggunakan layanan Capsolver dapat membantu Anda menyelesaikan tantangan CAPTCHA. Jika Anda membuat permintaan API ke situs target dan menghadapi tantangan CAPTCHA, Anda dapat menggunakan task API dari Capsolver, yang menyelesaikan berbagai tantangan dan mengembalikan token yang benar kepada Anda.

Jika Anda menggunakan alat otomasi seperti Selenium, Anda dapat mengintegrasikan ekstensi Capsolver secara mulus ke browser seperti Chrome dan Firefox. Integrasi ini meningkatkan kemampuan Anda dan memberikan pengalaman akses situs web yang lebih lancar.

Kesimpulan

Dengan artikel ini Anda dapat memahami dengan baik tentang penyesuaian User Agent di Selenium. Ini memungkinkan Anda tidak hanya meningkatkan ketahanan dan keandalan upaya scraping web Anda, tetapi juga memastikan interaksi yang lebih lancar dengan berbagai situs web. Baik melalui tantangan CAPTCHA atau mensimulasikan perilaku pengguna, menyesuaikan User Agent secara strategis dapat menjadi perubahan besar. Dan ingat, dengan alat seperti CapSolver, mengatasi hambatan akses data web tidak hanya mungkin, tetapi juga efisien. Dalam lingkungan digital yang dinamis saat ini, menerapkan praktik ini sering kali meningkatkan efisiensi proyek otomasi Anda dan memaksimalkan manfaat dari scraping web!

FAQ

1. Mengapa saya harus mengganti User Agent saat menggunakan Selenium?

Mengganti User Agent membantu skrip Selenium Anda terlihat seperti browser manusia biasa alih-alih alat otomasi. Banyak situs web mendeteksi otomasi dengan memeriksa User Agent default dan mungkin menampilkan kesalahan, memperlambat permintaan, atau memicu CAPTCHA. User Agent yang disesuaikan meningkatkan ketahanan dan mengurangi pemblokiran.

2. Apakah saya bisa memutar User Agent secara otomatis di Selenium?

Ya. Anda dapat membuat daftar berbagai User Agent dan memilih satu secara acak untuk setiap sesi, atau menggunakan perpustakaan seperti fake-useragent untuk menghasilkan identitas browser acak secara otomatis. Memutar User Agent sangat berguna selama tugas scraping skala besar.

3. Apakah mengganti User Agent saja cukup untuk mencegah pemblokiran?

Tidak sepenuhnya. Modifikasi User Agent hanya merupakan bagian dari menghindari deteksi bot. Situs web juga melacak cookie, reputasi IP, kecepatan permintaan, perilaku, dan mungkin menampilkan tantangan CAPTCHA. Menggabungkan Selenium dengan layanan penyelesaian CAPTCHA seperti CapSolver dapat membantu menjaga akses yang lancar.

4. Bagaimana cara memeriksa apakah perubahan User Agent berhasil di Selenium?

Anda dapat mengunjungi situs debug seperti https://httpbin.org/user-agent setelah menjalankan driver. Halaman tersebut akan menampilkan User Agent saat ini yang digunakan oleh browser Selenium Anda—jika nilai khusus Anda muncul, konfigurasinya berhasil.

5. Apakah saya bisa mengganti User Agent di Firefox juga seperti di Chrome?

Ya. Untuk Chrome Anda menggunakan webdriver.ChromeOptions(), dan untuk Firefox gunakan webdriver.FirefoxOptions(). Tambahkan argumen User Agent ke objek opsi, lalu kirimkan saat menginisialisasi WebDriver.

6. Apa yang terjadi jika situs web tetap menampilkan CAPTCHA meskipun mengganti User Agent?

Ini umum—situs web modern bergantung pada lebih dari hanya deteksi User Agent. Jika CAPTCHA muncul secara teratur, Anda dapat mengintegrasikan CapSolver melalui API atau ekstensi browser untuk menyelesaikannya secara otomatis, meningkatkan alur otomasi dan menghindari gangguan.