Làm thế nào để xây dựng các trình thu thập dữ liệu cho việc thu thập dữ liệu từ web trong n8n với CapSolver

{
  "nodes": [
    {
      "parameters": {
        "content": "## Scraping \u2014 Price & Product Monitor\n\n### How it works\n\n1. Triggers either by schedule or webhook input to start price monitoring.\n2. Solves reCAPTCHA to access the targeted product page.\n3. Retrieves and extracts data from the product page for further analysis.\n4. Compares newly fetched data with previously stored data to detect changes.\n5. Determines if changes occurred and prepares alerts if needed.\n6. Sends responses based on data analysis through designated channels.\n\n### Setup steps\n\n- [ ] Configure scheduled trigger interval in 'Every 6 Hours' node.\n- [ ] Set target website details in 'Set Target Config [Schedule]'.\n- [ ] Configure reCAPTCHA solver with API key in 'Solve reCAPTCHA v3' nodes.\n- [ ] Set up Webhook URL and path in 'Webhook Trigger'.\n- [ ] Define alert criteria and destination in 'Build Alert' nodes.\n\n### Customization\n\nAdjust the extraction pattern in 'Extract Data' nodes to fit specific product details.",
        "height": 896,
        "width": 480
      },
      "type": "n8n-nodes-base.stickyNote",
      "typeVersion": 1,
      "position": [
        -1328,
        -304
      ],
      "id": "52c7808e-d2bc-4779-85e6-909a51066338",
      "name": "Sticky Note"
    },
    {
      "parameters": {
        "content": "## Scheduled trigger setup\n\nInitializes the data monitoring process every 6 hours using a schedule trigger and sets the target configuration for scraping.",
        "height": 320,
        "width": 496,
        "color": 7
      },
      "type": "n8n-nodes-base.stickyNote",
      "typeVersion": 1,
      "position": [
        -752,
        -160
      ],
      "id": "3c5cee67-552d-48ea-8717-7c5126269e2e",
      "name": "Sticky Note1"
    },
    {
      "parameters": {
"content": "## Quy trình thu thập dữ liệu định kỳ\n\nGiải quyết reCAPTCHA, tải trang sản phẩm, trích xuất dữ liệu và so sánh với các bản ghi trước để phát hiện thay đổi, theo một sự kích hoạt định kỳ.",
        "height": 496,
        "width": 1680,
        "color": 7
      },
      "type": "n8n-nodes-base.stickyNote",
      "typeVersion": 1,
      "position": [
        -144,
        -304
      ],
      "id": "d0315be2-111c-4893-bf42-2f2cc2eb186f",
      "name": "Sticky Note2"
    },
    {
      "parameters": {
        "content": "## Cài đặt kích hoạt Webhook\n\nXử lý theo dõi dữ liệu được kích hoạt thủ công thông qua Webhook đến và giải quyết reCAPTCHA để tiếp tục.",
        "height": 304,
        "width": 816,
        "color": 7
      },
      "type": "n8n-nodes-base.stickyNote",
      "typeVersion": 1,
      "position": [
        -768,
        336
      ],
      "id": "a78f1606-07fb-40fd-af82-e1dc9b766206",
      "name": "Sticky Note3"
    },
    {
      "parameters": {
        "content": "## Quy trình thu thập dữ liệu Webhook\n\nXử lý các yêu cầu được kích hoạt bởi Webhook bằng cách tải trang sản phẩm, trích xuất dữ liệu và xác định các thay đổi.",
        "height": 272,
        "width": 1088,
        "color": 7
      },
      "type": "n8n-nodes-base.stickyNote",
      "typeVersion": 1,
      "position": [
        160,
        320
      ],
      "id": "1a677fd9-a3a8-404f-ba9a-2b087d7bfe11",
      "name": "Sticky Note4"
    },
    {
      "parameters": {
        "rule": {
          "interval": [
            {
              "field": "hours",
              "hoursInterval": 6
            }
          ]
        }
      },
      "type": "n8n-nodes-base.scheduleTrigger",
      "typeVersion": 1.3,
      "position": [
        -704,
        0
      ],
      "id": "sc-901",
      "name": "Mỗi 6 giờ"
    },
    {
      "parameters": {
        "assignments": {
          "assignments": [
            {
              "id": "cfg-001",
              "name": "websiteURL",
              "value": "https://YOUR-TARGET-SITE.com/trang-san-phẩm",
              "type": "string"
            },
            {
              "id": "cfg-002",
              "name": "websiteKey",
              "value": "YOUR_SITE_KEY_HERE",
              "type": "string"
            }
          ]
        },
        "options": {}
      },
      "type": "n8n-nodes-base.set",
      "typeVersion": 3.4,
      "position": [
        -400,
        0
      ],
      "id": "sc-900",
      "name": "Thiết lập Cấu hình Mục tiêu [Kế hoạch]"
    },
    {
      "parameters": {
        "operation": "reCAPTCHA v3",
        "websiteURL": "={{ $json.websiteURL }}",
        "websiteKey": "={{ $json.websiteKey }}",
        "optional": {
          "pageAction": "xem_sản_phẩm"
        }
      },
      "type": "n8n-nodes-capsolver.capSolver",
      "typeVersion": 1,
      "position": [
        -96,
        0
      ],
      "id": "sc-902",
      "name": "Giải quyết reCAPTCHA v3",
      "credentials": {
        "capSolverApi": {
          "id": "BeBFMAsySMsMGeE9",
          "name": "Tài khoản CapSolver"
        }
      }
    },
    {
      "parameters": {
        "method": "POST",
        "url": "={{ $('Thiết lập Cấu hình Mục tiêu [Kế hoạch]').first().json.websiteURL }}",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [
            {
              "name": "user-agent",
              "value": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
            },
            {
              "name": "x-recaptcha-token",
              "value": "={{ $json.data.solution.gRecaptchaResponse }}"
            }
          ]
        },
        "options": {
          "response": {
            "response": {}
          }
        }
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.3,
      "position": [
        208,
        0
      ],
      "id": "sc-903",
      "name": "Lấy Trang Sản phẩm"
    },
    {
      "parameters": {
        "operation": "trích xuấtNội dungHTML",
        "extractionValues": {
          "values": [
            {
              "key": "giá",
              "cssSelector": ".product-price, [data-price], .price"
            },
            {
              "key": "tênSảnPhẩm",
              "cssSelector": "h1, .product-title"
            }
          ]
        },
        "options": {}
      },
      "type": "n8n-nodes-base.html",
      "typeVersion": 1.2,
      "position": [
        512,
        0
      ],
      "id": "sc-904",
      "name": "Trích xuất Dữ liệu"
    },
    {
      "parameters": {
        "jsCode": "const staticData = $workflow.staticData;\nconst currentPrice = $input.first().json.giá;\nconst previousPrice = staticData.lastPrice;\nconst productName = $input.first().json.tênSảnPhẩm || 'Sản phẩm';\nconst parsePrice = (str) => { if (!str) return null; const match = str.match(/[\\d,]+\\.?\\d*/); return match ? parseFloat(match[0].replace(',', '')) : null; };\nconst currentNum = parsePrice(currentPrice);\nconst previousNum = parsePrice(previousPrice);\nstaticData.lastPrice = currentPrice;\nstaticData.lastChecked = new Date().toISOString();\nconst changed = previousNum !== null && currentNum !== null && currentNum !== previousNum;\nconst direction = changed ? (currentNum < previousNum ? 'giảm' : 'tăng') : 'không thay đổi';\nconst diff = changed ? Math.abs(currentNum - previousNum).toFixed(2) : '0';\nreturn [{ json: { productName, currentPrice, previousPrice: previousPrice || 'lần kiểm tra đầu tiên', changed, direction, diff: changed ? `$${diff}` : null, checkedAt: new Date().toISOString() } }];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [
        800,
        0
      ],
      "id": "sc-905",
      "name": "So sánh Dữ liệu"
    },
    {
      "parameters": {
        "conditions": {
          "options": {
            "caseSensitive": true,
            "leftValue": "",
            "typeValidation": "strict",
            "version": 2
          },
          "conditions": [
            {
              "id": "if-1",
              "leftValue": "={{ $json.changed }}",
              "operator": {
                "type": "boolean",
                "operation": "true",
                "singleValue": true
              }
            }
          ],
          "combinator": "and"
        },
        "options": {}
      },
      "type": "n8n-nodes-base.if",
      "typeVersion": 2.2,
      "position": [
        1104,
        0
      ],
      "id": "sc-906",
      "name": "Dữ liệu Thay đổi?"
    },
    {
      "parameters": {
        "assignments": {
          "assignments": [
            {
              "id": "a1",
              "name": "thông báo",
              "value": "=Giá {{ $json.direction }} cho {{ $json.productName }}: {{ $json.previousPrice }} \u2192 {{ $json.currentPrice }}",
              "type": "string"
            },
            {
              "id": "a2",
              "name": "mức_độ",
              "value": "={{ $json.direction === 'giảm' ? 'khuyến mãi' : 'thông tin' }}",
              "type": "string"
            },
            {
              "id": "a3",
              "name": "checkedAt",
              "value": "={{ $json.checkedAt }}",
              "type": "string"
            }
          ]
        },
        "options": {}
      },
      "type": "n8n-nodes-base.set",
      "typeVersion": 3.4,
      "position": [
        1392,
        -192
      ],
      "id": "sc-907",
      "name": "Xây dựng Thông báo"
    },
    {
      "parameters": {
        "assignments": {
          "assignments": [
            {
              "id": "n1",
              "name": "trạng thái",
              "value": "không_thay_đổi",
              "type": "string"
            },
            {
              "id": "n2",
              "name": "giáHiệnTại",
              "value": "={{ $json.currentPrice }}",
              "type": "string"
            },
            {
              "id": "n3",
              "name": "checkedAt",
              "value": "={{ $json.checkedAt }}",
              "type": "string"
            }
          ]
        },
        "options": {}
      },
      "type": "n8n-nodes-base.set",
      "typeVersion": 3.4,
      "position": [
        1392,
        32
      ],
      "id": "sc-908",
      "name": "Không Thay đổi"
    },
    {
      "parameters": {
        "httpMethod": "POST",
        "path": "theo_dõi_giá",
        "responseMode": "responseNode",
        "options": {}
      },
      "type": "n8n-nodes-base.webhook",
      "typeVersion": 2.1,
      "position": [
        -720,
        464
      ],
      "id": "sc-909",
      "name": "Kích hoạt Webhook",
      "webhookId": "sc-909-webhook",
      "onError": "tiếp_tục_output_thường"
    },
    {
      "parameters": {
        "operation": "reCAPTCHA v3",
        "websiteURL": "={{ $json.body.websiteURL }}",
        "websiteKey": "={{ $json.body.websiteKey }}",
        "optional": {
          "pageAction": "={{ $json.body.pageAction || 'xem_sản_phẩm' }}"
        }
      },
      "type": "n8n-nodes-capsolver.capSolver",
      "typeVersion": 1,
      "position": [
        -96,
        464
      ],
      "id": "sc-910",
      "name": "Giải quyết reCAPTCHA v3 [Webhook]",
      "credentials": {
        "capSolverApi": {
          "id": "BeBFMAsySMsMGeE9",
          "name": "Tài khoản CapSolver"
        }
      }
    },
    {
      "parameters": {
        "method": "POST",
        "url": "={{ $('Kích hoạt Webhook').item.json.body.websiteURL }}",
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [
            {
              "name": "user-agent",
              "value": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
            },
            {
              "name": "x-recaptcha-token",
              "value": "={{ $json.data.solution.gRecaptchaResponse }}"
            }
          ]
        },
        "options": {
          "response": {
            "response": {}
          }
        }
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.3,
      "position": [
        208,
        432
      ],
      "id": "sc-911",
      "name": "Lấy Trang Sản phẩm [Webhook]"
    },
    {
      "parameters": {
        "operation": "trích xuấtNội dungHTML",
        "extractionValues": {
          "values": [
            {
              "key": "giá",
              "cssSelector": ".product-price, [data-price], .price"
            },
            {
              "key": "tênSảnPhẩm",
              "cssSelector": "h1, .product-title"
            }
          ]
        },
        "options": {}
      },
      "type": "n8n-nodes-base.html",
      "typeVersion": 1.2,
      "position": [
        512,
        432
      ],
      "id": "sc-912",
      "name": "Trích xuất Dữ liệu [Webhook]"
    },
    {
      "parameters": {
        "jsCode": "const staticData = $workflow.staticData;\nconst currentPrice = $input.first().json.giá;\nconst previousPrice = staticData.lastPrice;\nconst productName = $input.first().json.tênSảnPhẩm || 'Sản phẩm';\nconst parsePrice = (str) => { if (!str) return null; const match = str.match(/[\\d,]+\\.?\\d*/); return match ? parseFloat(match[0].replace(',', '')) : null; };\nconst currentNum = parsePrice(currentPrice);\nconst previousNum = parsePrice(previousPrice);\nstaticData.lastPrice = currentPrice;\nstaticData.lastChecked = new Date().toISOString();\nconst changed = previousNum !== null && currentNum !== null && currentNum !== previousNum;\nconst direction = changed ? (currentNum < previousNum ? 'giảm' : 'tăng') : 'không thay đổi';\nconst diff = changed ? Math.abs(currentNum - previousNum).toFixed(2) : '0';\nreturn [{ json: { productName, currentPrice, previousPrice: previousPrice || 'lần kiểm tra đầu tiên', changed, direction, diff: changed ? `$${diff}` : null, checkedAt: new Date().toISOString() } }];"
      },
      "type": "n8n-nodes-base.code",
      "typeVersion": 2,
      "position": [
        800,
        432
      ],
      "id": "sc-913",
      "name": "So sánh Dữ liệu [Webhook]"
    },
    {
      "parameters": {
        "conditions": {
          "options": {
            "caseSensitive": true,
            "leftValue": "",
            "typeValidation": "strict",
            "version": 2
          },
          "conditions": [
            {
              "id": "if-2",
              "leftValue": "={{ $json.changed }}",
              "operator": {
                "type": "boolean",
                "operation": "true",
                "singleValue": true
              }
            }
          ],
          "combinator": "and"
        },
        "options": {}
      },
      "type": "n8n-nodes-base.if",
      "typeVersion": 2.2,
      "position": [
        1104,
        432
      ],
      "id": "sc-914",
      "name": "Dữ liệu Thay đổi? [Webhook]"
    },
    {
      "parameters": {
        "assignments": {
          "assignments": [
            {
              "id": "a4",
              "name": "thông báo",
              "value": "=Giá {{ $json.direction }} cho {{ $json.productName }}: {{ $json.previousPrice }} \u2192 {{ $json.currentPrice }}",
              "type": "string"
            },
            {
              "id": "a5",
              "name": "mức_độ",
              "value": "={{ $json.direction === 'giảm' ? 'khuyến mãi' : 'thông tin' }}",
              "type": "string"
            },
            {
              "id": "a6",
              "name": "checkedAt",
              "value": "={{ $json.checkedAt }}",
              "type": "string"
            }
          ]
        },
        "options": {}
      },
      "type": "n8n-nodes-base.set",
      "typeVersion": 3.4,
      "position": [
        1424,
        384
      ],
      "id": "sc-915",
      "name": "Xây dựng Thông báo [Webhook]"
    },
    {
      "parameters": {
        "assignments": {
          "assignments": [
            {
              "id": "n4",
              "name": "trạng thái",
              "value": "không_thay_đổi",
              "type": "string"
            },
            {
              "id": "n5",
              "name": "giáHiệnTại",
              "value": "={{ $json.currentPrice }}",
              "type": "string"
            },
            {
              "id": "n6",
              "name": "checkedAt",
              "value": "={{ $json.checkedAt }}",
              "type": "string"
            }
          ]
        },
        "options": {}
      },
      "type": "n8n-nodes-base.set",
      "typeVersion": 3.4,
      "position": [
        1440,
        592
      ],
      "id": "sc-916",
      "name": "Không Thay đổi [Webhook]"
    },
    {
      "parameters": {
        "respondWith": "json",
        "responseBody": "={{ JSON.stringify($json) }}",
        "options": {}
      },
      "type": "n8n-nodes-base.respondToWebhook",
      "typeVersion": 1.5,
      "position": [
        1712,
        512
      ],
      "id": "sc-917",
      "name": "Trả lời Webhook"
    }
  ],
  "connections": {
    "Mỗi 6 giờ": {
      "main": [
        [
          {
"node": "Thiết lập Cấu hình Mục tiêu [Lịch trình]",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Thiết lập Cấu hình Mục tiêu [Lịch trình]": {
      "main": [
        [
          {
            "node": "Giải reCAPTCHA v3",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Giải reCAPTCHA v3": {
      "main": [
        [
          {
            "node": "Lấy Trang Sản phẩm",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Lấy Trang Sản phẩm": {
      "main": [
        [
          {
            "node": "Trích xuất Dữ liệu",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Trích xuất Dữ liệu": {
      "main": [
        [
          {
            "node": "So sánh Dữ liệu",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "So sánh Dữ liệu": {
      "main": [
        [
          {
            "node": "Dữ liệu đã thay đổi?",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Dữ liệu đã thay đổi?": {
      "main": [
        [
          {
            "node": "Xây dựng Thông báo",
            "type": "main",
            "index": 0
          }
        ],
        [
          {
            "node": "Không Có Thay Đổi",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Webhook Trigger": {
      "main": [
        [
          {
            "node": "Giải reCAPTCHA v3 [Webhook]",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Giải reCAPTCHA v3 [Webhook]": {
      "main": [
        [
          {
            "node": "Lấy Trang Sản phẩm [Webhook]",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Lấy Trang Sản phẩm [Webhook]": {
      "main": [
        [
          {
            "node": "Trích xuất Dữ liệu [Webhook]",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Trích xuất Dữ liệu [Webhook]": {
      "main": [
        [
          {
            "node": "So sánh Dữ liệu [Webhook]",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "So sánh Dữ liệu [Webhook]": {
      "main": [
        [
          {
            "node": "Dữ liệu đã thay đổi? [Webhook]",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Dữ liệu đã thay đổi? [Webhook]": {
      "main": [
        [
          {
            "node": "Xây dựng Thông báo [Webhook]",
            "type": "main",
            "index": 0
          }
        ],
        [
          {
            "node": "Không Có Thay Đổi [Webhook]",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Xây dựng Thông báo [Webhook]": {
      "main": [
        [
          {
            "node": "Phản hồi cho Webhook",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Không Có Thay Đổi [Webhook]": {
      "main": [
        [
          {
            "node": "Phản hồi cho Webhook",
            "type": "main",
            "index": 0
          }
        ]
      ]
    }
  },
  "pinData": {},
  "meta": {
    "instanceId": "962ff0267b713be0344b866fa54daae28de8ed2144e2e6867da355dae193ea1f"
  }
}