生成

在网页抓取和数据提取的背景下，Yield 表示在爬取运行过程中成功提取结果的比例。

定义

Yield 是一种性能指标，用于量化爬取过程中成功返回有效结果的数据提取尝试数量占总尝试次数的比例。它是衡量爬取管道健康状况和稳定性的关键指标，帮助团队了解其提取逻辑的有效性。较高的 Yield 表明提取更加可靠和准确，而较低的 Yield 可能表明选择器存在问题、反机器人挑战或网络错误。随时间监控 Yield 有助于主动排查问题，并确保自动化网页抓取工作流中的数据质量。Yield 在大规模爬取中尤其重要，因为一致的输出对后续流程至关重要。

优点

• 提供提取成功率的明确定量指标。
• 有助于在管道早期检测和诊断抓取问题。
• 支持对爬取的长期可靠性和质量进行监控。
• 可在不同爬取配置或策略之间进行比较。
• 有助于在自动化中设定服务等级协议（SLA）或性能基准。

缺点

• 不会单独解释为什么提取失败发生。
• 如果未随时间平均，可能被异常值扭曲。
• 需要持续的日志记录和指标收集才能发挥作用。
• 可能掩盖未被简单成功/失败计数捕捉的部分数据质量问题。
• 不直接反映数据的新鲜度或及时性。

使用场景

• 跟踪计划的网络爬取任务中的提取成功率。
• 对比不同的抓取策略或选择器更新的基准。
• 当 Yield 低于定义的阈值时通知团队。
• 向利益相关者或仪表板报告整体提取健康状况。
• 在反机器人缓解措施改进前后比较性能。