
Emma Foster
Machine Learning Engineer

Mengikuti perubahan harga produk adalah kebutuhan umum untuk riset pasar, kecerdasan e-commerce, pemantauan kompetitif, dan deteksi penawaran. Tantangannya adalah banyak situs e-commerce dan perusahaan modern menggunakan AWS WAF untuk melindungi halaman produk dari akses otomatis. AWS WAF dijelaskan dalam dokumentasi resmi AWS WAF sebagai layanan firewall aplikasi web yang membantu mengendalikan permintaan HTTP dan HTTPS, yang mengapa permintaan HTTP biasa mungkin gagal sebelum otomasi Anda dapat membaca halaman produk yang sebenarnya.
Templat alur kerja n8n CapSolver, "Monitor harga produk yang dilindungi AWS WAF dengan CapSolver, jadwal, dan webhook," mengubah masalah ini menjadi otomasi yang dapat digunakan kembali. Ini mengikuti fondasi penyelesaian AWS WAF yang sama yang dijelaskan dalam How to Solve AWS WAF in n8n with CapSolver, lalu memperluas pola tersebut menjadi alur kerja pemantauan yang praktis yang menyelesaikan tantangan, mengambil halaman produk yang dilindungi, mengekstrak informasi produk, membandingkan harga terbaru dengan data sebelumnya, dan mengirim pemberitahuan ketika terjadi perubahan.
Templat ini dirancang untuk siklus pemantauan yang praktis: aktifkan alur kerja, selesaikan AWS WAF, ambil halaman produk, ekstrak data, bandingkan dengan hasil sebelumnya, dan beri pemberitahuan hanya ketika perubahan terdeteksi.

AWS WAF sering bekerja berbeda dari sistem CAPTCHA tradisional karena dapat mengandalkan verifikasi berbasis cookie yang tidak terlihat alih-alih kotak centang atau tantangan gambar yang terlihat. Dalam banyak kasus, alur otomasi harus terlebih dahulu memperoleh kuki aws-waf-token yang valid, lalu mengirimkan kuki tersebut dalam header HTTP Cookie saat meminta halaman yang dilindungi. Jika Anda baru mengenal pola integrasi ini, integrasi solver CAPTCHA n8n CapSolver memberikan konteks yang berguna tentang bagaimana CapSolver cocok dalam alur kerja n8n.
Untuk pemantauan harga, detail ini penting. Alur kerja yang hanya mengirimkan permintaan GET sederhana ke halaman produk mungkin menerima halaman tantangan alih-alih HTML yang sebenarnya. Untuk mengekstrak harga secara andal, otomasi harus terlebih dahulu menyelesaikan AWS WAF, lalu menggunakan kuki yang telah diselesaikan saat meminta halaman tujuan.
| Tantangan | Mengapa Penting untuk Pemantauan Harga | Pendekatan CapSolver + n8n |
|---|---|---|
| Tantangan AWS WAF yang tidak terlihat | Halaman produk mungkin tidak dikembalikan ke permintaan HTTP dasar. | Node AWS WAF CapSolver menyelesaikan tantangan sebelum mengambil halaman. |
| Akses berbasis cookie | AWS WAF menggunakan kuki aws-waf-token alih-alih token formulir. |
Alur kerja mengirimkan kuki yang telah diselesaikan melalui header HTTP Cookie. |
| Pemeriksaan berulang | Pemantauan harga membutuhkan pemantauan terjadwal, bukan scraping sekali. | Templat mencakup pemicu terjadwal, seperti setiap enam jam. |
| Pemeriksaan on-demand | Tim mungkin perlu memeriksa harga produk melalui aplikasi atau sistem lain. | Templat juga mendukung eksekusi berbasis webhook. |
| Deteksi perubahan | Scraping mentah tidak cukup; pengguna perlu mengetahui perubahan apa yang terjadi. | Alur kerja membandingkan nilai saat ini dan sebelumnya sebelum menghasilkan pemberitahuan. |
Templat CapSolver dipublikasikan dalam perpustakaan alur kerja n8n di bawah kategori Riset Pasar dan dibuat oleh CapSolver. Ini menggabungkan jadwal, eksekusi webhook, penyelesaian AWS WAF, ekstraksi HTML, perbandingan berbasis state, dan pembuatan pemberitahuan kondisional menjadi satu alur kerja siap dikustomisasi. Hal ini konsisten dengan konsep alur kerja n8n sendiri sebagai node yang terhubung yang mengotomasi proses, sebagaimana dijelaskan dalam dokumentasi resmi n8n workflows
Secara umum, alur kerja dimulai baik pada interval teratur atau melalui permintaan webhook. Lalu, menggunakan CapSolver untuk menyelesaikan tantangan AWS WAF, mengirimkan permintaan untuk mengambil halaman produk yang dilindungi, mengekstrak harga produk dan nama produk dari HTML, membandingkan nilai baru dengan data yang disimpan dari eksekusi sebelumnya, dan mengembalikan atau mencatat hasil tergantung bagaimana alur kerja diaktifkan. Untuk alur kerja scraping yang lebih luas yang menggunakan pendekatan tanpa kode yang sama, Anda juga dapat meninjau How to Build Scrapers for Web Scraping in n8n with CapSolver.
| Tahap Alur Kerja | Tujuan | Node atau Konsep n8n yang Biasa |
|---|---|---|
| Pemicu | Memulai pemantauan secara otomatis atau on-demand. | Schedule Trigger dan Webhook |
| Selesaikan AWS WAF | Memperoleh kuki AWS WAF yang diperlukan untuk mengakses halaman tujuan. | Node AWS WAF CapSolver |
| Ambil Halaman Produk | Meminta halaman yang dilindungi menggunakan kuki yang telah diselesaikan. | HTTP Request |
| Ekstrak Data Produk | Membaca harga dan nama produk dari HTML yang dikembalikan. | Ekstraksi HTML dengan selector CSS |
| Bandingkan Data | Memeriksa apakah harga terbaru berbeda dari nilai sebelumnya yang disimpan. | Code dan data statis alur kerja |
| Arahkan Hasil | Menentukan apakah membangun pemberitahuan atau mencatat tidak ada perubahan. | If dan Edit Fields / Set |
| Tanggapi | Mengembalikan hasil yang struktur untuk eksekusi webhook. | Respond to Webhook |
Templat ini berguna karena mendukung pemantauan terjadwal dan eksekusi berbasis webhook. Jalur terjadwal ideal untuk pemantauan harga berkelanjutan. Misalnya, catatan pengaturan templat menyebutkan mengkonfigurasi node "Setiap 6 Jam", yang membuatnya cocok untuk pemeriksaan berulang tanpa intervensi manual.
Jalur webhook berguna ketika alat internal, dashboard, bot, atau sistem backend perlu memicu pemeriksaan harga on-demand. Dokumentasi resmi node Webhook n8n menjelaskan bahwa node Webhook dapat menerima data dari aplikasi dan layanan, memulai alur kerja, dan mengembalikan output alur kerja yang dihasilkan, yang membuatnya cocok untuk pemeriksaan harga seperti API.
| Jenis Pemicu | Terbaik Untuk | Contoh Penggunaan |
|---|---|---|
| Pemicu terjadwal | Riset pasar dan pemantauan penawaran berkelanjutan | Periksa halaman produk pesaing setiap enam jam dan beri pemberitahuan ketika harga berubah. |
| Pemicu webhook | Otomasi on-demand dan integrasi | Izinkan dashboard internal meminta harga produk yang dilindungi terbaru ketika pengguna mengklik "Refresh". |
Dalam kebanyakan alur kerja AWS WAF, input yang diperlukan adalah websiteURL. Berbeda dengan reCAPTCHA atau Turnstile, AWS WAF biasanya tidak memerlukan websiteKey atau kunci situs yang terlihat. CapSolver menangani tantangan dan mengembalikan solusi yang dapat digunakan saat meminta halaman yang dilindungi. Jika Anda membutuhkan langkah-langkah pengaturan kredensial langkah demi langkah sebelum menggunakan templat, How to Setup CapSolver on n8n menjelaskan cara menambahkan kredensial API CapSolver di n8n.
Detail implementasi yang paling penting adalah bagaimana solusi dikirim. Untuk AWS WAF, solusi biasanya tidak ditempatkan ke bidang formulir. Ia dikirim sebagai kuki aws-waf-token melalui header permintaan Cookie. Pola intinya sederhana: selesaikan tantangan, kirim kuki ke situs tujuan, verifikasi respons, lalu proses data yang dilindungi.
| Parameter atau Output | Peran dalam Alur Kerja |
|---|---|
websiteURL |
URL tujuan di mana tantangan AWS WAF muncul. |
solution.cookie |
Kuki AWS WAF yang telah diselesaikan yang dikembalikan oleh CapSolver. |
Header Cookie |
Tempat yang benar untuk mengirimkan token AWS WAF yang telah diselesaikan dalam permintaan HTTP. |
| Parameter AWS WAF opsional | Nilai seperti awsKey, awsIv, awsContext, atau awsChallengeJS mungkin meningkatkan keandalan penyelesaian untuk situs tertentu. |
Setelah alur kerja berhasil mengambil halaman, ia mengekstrak informasi produk dari HTML. Dalam implementasi referensi, langkah ekstraksi HTML mencari selector harga dan judul umum seperti .product-price, [data-price], .price, h1, dan .product-title. Pendekatan ini sejalan dengan dokumentasi resmi node HTML n8n, yang menjelaskan bahwa node HTML dapat mengekstrak konten dari HTML menggunakan kunci, selector CSS, nilai kembalian, dan pengaturan array kembalian.
Ini membuat alur kerja mudah disesuaikan. Jika situs tujuan Anda menggunakan struktur HTML yang berbeda, Anda dapat memperbarui selector CSS di node ekstraksi. Misalnya, satu situs e-commerce mungkin menyimpan harga di .sale-price, sementara yang lain mungkin menggunakan [data-testid="price"]. Panduan selector CSS MDN menjelaskan bagaimana selector menargetkan elemen HTML berdasarkan jenis, atribut, keadaan, dan posisi DOM, yang tepat mengapa memilih selector yang stabil penting untuk ekstraksi harga yang andal.
Pemantau harga hanya berguna jika ingat hasil sebelumnya. Alur kerja menggunakan state alur kerja n8n untuk membandingkan harga saat ini dengan harga sebelumnya yang disimpan. Dalam alur kerja referensi, $workflow.staticData.lastPrice mempertahankan nilai sebelumnya di antara eksekusi sehingga run berikutnya dapat menentukan apakah harga berubah.
Ini memungkinkan alur kerja untuk membedakan antara pemeriksaan pertama, harga yang tidak berubah, penurunan harga, dan kenaikan harga. Penurunan bisa ditandai dengan "kesempatan" prioritas tinggi, sementara kenaikan bisa ditandai sebagai informasi.
| Hasil | Makna | Tindakan yang Mungkin |
|---|---|---|
| Pemeriksaan pertama | Tidak ada nilai sebelumnya. | Simpan harga saat ini dan kembalikan hasil dasar. |
| Tidak berubah | Harga saat ini dan sebelumnya sama. | Catat "tidak ada perubahan" dan hindari pemberitahuan yang tidak perlu. |
| Harga turun | Harga saat ini lebih rendah dari harga sebelumnya. | Kirim pemberitahuan kesempatan prioritas tinggi. |
| Harga naik | Harga saat ini lebih tinggi dari harga sebelumnya. | Kirim pemberitahuan informasi untuk pemantauan pasar. |
Sebelum menggunakan templat, Anda membutuhkan instance n8n dan akun CapSolver. CapSolver tersedia sebagai integrasi n8n, jadi pengguna dapat membuat kredensial API CapSolver di n8n dan menggunakannya kembali di berbagai alur kerja.
Gunakan kode
CAP26saat mendaftar di CapSolver untuk mendapatkan kredit tambahan!
| Langkah | Apa yang Dikonfigurasi | Catatan |
|---|---|---|
| 1 | Tambahkan kredensial CapSolver di n8n | Buat kredensial API CapSolver dan masukkan kunci API Anda. |
| 2 | Konfigurasikan jadwal | Perbarui node "Setiap 6 Jam" jika Anda membutuhkan interval pemantauan yang berbeda. |
| 3 | Atur URL produk tujuan | Ganti URL halaman produk contoh di node "Ambil Halaman Produk". |
| 4 | Periksa selector ekstraksi | Perbarui selector untuk harga dan nama produk berdasarkan HTML halaman tujuan. |
| 5 | Konfigurasikan webhook | Atur node "Terima Permintaan Monitor" jika Anda ingin pemeriksaan on-demand. |
| 6 | Uji hasil | Pastikan kuki AWS WAF diterima dan harga yang diekstraksi benar. |
Alur kerja default fokus pada harga produk dan nama produk, tetapi pola yang sama dapat mendukung riset pasar yang lebih luas. Anda dapat mengekstrak ketersediaan, label diskon, status stok, informasi pengiriman, nama penjual, jumlah ulasan, atau badge promosi. Setelah ekstraksi, n8n dapat mengarahkan hasil ke spreadsheet, database, saluran Slack, bot Telegram, notifikasi email, atau dashboard internal. Jika kasus penggunaan Anda berkembang ke scraping yang didukung AI di situs yang dilindungi, How to Scrape CAPTCHA-Protected Sites with n8n, CapSolver, and OpenClaw adalah bacaan berikut yang relevan.
| Kustomisasi | Cara Menerapkannya |
|---|---|
| Lacak beberapa bidang | Tambahkan lebih banyak selector CSS di langkah ekstraksi HTML. |
| Pemantauan beberapa produk | Salin jalur alur kerja, gunakan daftar URL, atau aktifkan alur kerja dengan payload webhook. |
| Kirim pemberitahuan ke alat tim | Tambahkan node Slack, Telegram, Discord, email, atau database setelah cabang deteksi perubahan. |
| Simpan data historis | Simpan setiap pemeriksaan ke Google Sheets, Airtable, Postgres, MySQL, atau node penyimpanan lainnya. |
| Gunakan parameter AWS WAF opsional | Tambahkan parameter seperti awsContext atau awsChallengeJS jika situs tujuan membutuhkan konteks tambahan. |
Untuk pemantauan yang andal, mulailah dengan satu halaman produk dan pastikan alur kerja dapat mengambil HTML produk yang sebenarnya setelah menyelesaikan AWS WAF. Jika respons masih menunjukkan halaman tantangan, pastikan kuki yang telah diselesaikan dikirim dalam header Cookie dan kuki digunakan segera setelah diselesaikan, karena kuki tantangan mungkin berakhir dengan cepat.
Anda juga sebaiknya menjaga selector se spesifik mungkin tetapi tidak terlalu rapuh. Selector seperti .price mungkin berfungsi di banyak halaman, tetapi selector yang lebih spesifik dapat mengurangi kesalahan cocok jika halaman mengandung beberapa harga. Saat memantau produk penting, simpan baik nilai yang diekstraksi mentah maupun nilai numerik yang diproses sehingga Anda dapat meninjau perubahan harga di masa depan.
Akhirnya, anggap alur kerja sebagai bagian dari proses riset pasar yang sesuai aturan. Pemantauan hanya halaman yang Anda izinkan, hormati ketentuan situs web, dan hindari frekuensi permintaan yang berlebihan. Desain berbasis jadwal templat membuatnya lebih mudah untuk menjaga pemantauan yang terprediksi alih-alih terus-menerus menekan situs tujuan.
Keuntungan utama dari templat n8n CapSolver adalah bahwa ia mengemas pola pemantauan AWS WAF lengkap ke dalam alur kerja yang dapat digunakan kembali. Alih-alih membangun langkah solver secara terpisah, permintaan pengiriman kuki, ekstraktor HTML, perbandingan state, cabang pemberitahuan, dan respons webhook, Anda dapat memulai dari struktur yang sudah berjalan dan menyesuaikan URL tujuan, selector, jadwal, dan tujuan pemberitahuan.
| Manfaat | Dampak Praktis |
|---|---|
| Pemakaian lebih cepat | Mulai dari alur kerja pemantauan harga AWS WAF yang siap pakai. |
| Lebih sedikit pemeriksaan manual | Biarkan n8n menjalankan pemeriksaan harga berdasarkan jadwal. |
| Alur permintaan yang sadar AWS WAF | Gunakan CapSolver untuk menyelesaikan tantangan sebelum mengambil data yang dilindungi. |
| Deteksi perubahan yang terbawa | Beri pemberitahuan hanya ketika data produk berubah. |
| Integrasi yang Fleksibel | Dijalankan berdasarkan jadwal, diaktifkan melalui webhook, dan kaitkan hasil ke node n8n lainnya. |
Template n8n "Monitor harga produk yang dilindungi AWS WAF dengan CapSolver, jadwal, dan webhook" adalah poin awal yang praktis untuk pemantauan harga e-commerce dan riset pasar di halaman yang dilindungi AWS WAF. Template ini menggabungkan kemampuan penyelesaian AWS WAF dari CapSolver dengan fitur otomasi visual dari n8n, memungkinkan tim untuk mengambil halaman produk yang dilindungi, mengekstrak data harga, membandingkan perubahan seiring waktu, dan memicu pemberitahuan tanpa perlu menulis scraper penuh dari awal.
Jika alur kerja Anda perlu memantau halaman produk yang dilindungi, template ini menyediakan blok bangunan dasar: pemeriksaan berjadwal, eksekusi webhook, penyelesaian AWS WAF, pengambilan halaman berbasis cookie, ekstraksi HTML, perbandingan berkelanjutan, dan pemberitahuan yang terstruktur.
Ini adalah template alur kerja n8n yang dibuat oleh CapSolver untuk memantau harga produk yang dilindungi AWS WAF. Template ini menyelesaikan AWS WAF, mengambil halaman produk, mengekstrak data produk, membandingkan nilai saat ini dan sebelumnya, serta mengirimkan pemberitahuan ketika data berubah.
Ya. Template ini mencakup pemicu jadwal, dan instruksi penyiapan menyebutkan mengatur node "Setiap 6 Jam". Anda dapat menyesuaikan intervalnya berdasarkan kebutuhan pemantauan Anda.
Ya. Template ini juga mendukung eksekusi webhook, yang berarti aplikasi, dashboard, atau layanan lain dapat memicu pemeriksaan harga produk dan menerima hasilnya.
Dalam kebanyakan kasus, AWS WAF tidak memerlukan kunci situs publik. Parameter yang biasanya diperlukan adalah websiteURL, sementara parameter opsional mungkin digunakan untuk implementasi khusus.
Token AWS WAF yang telah diselesaikan harus dikirimkan sebagai cookie dalam header HTTP Cookie, bukan sebagai bidang formulir.
Anda perlu mengatur kredensial CapSolver Anda, memperbarui jadwal pemantauan, mengganti URL produk target, menyesuaikan pemilih CSS yang digunakan untuk mengekstrak harga dan nama produk, serta mengatur webhook jika Anda membutuhkan pemeriksaan on-demand.
Pelajari bagaimana agen AI dalam SEO mengotomasi penelitian kata kunci, analisis kompetitor, dan pengumpulan data — serta bagaimana mengatasi tantangan CAPTCHA dalam pipa Anda dengan CapSolver.

Menguasai penyelesaian CAPTCHA dengan dokumentasi API yang komprehensif untuk pengembang. Pelajari cara mengintegrasikan CapSolver untuk menangani reCAPTCHA, AWS WAF, dan lainnya.
