Kafka 流

用于构建实时流处理应用程序的客户端 Java 库，用于读写 Apache Kafka 主题的数据。

定义

Kafka Streams 是一个轻量级流处理库，旨在直接嵌入到 Java 应用程序或微服务中，以处理来自 Apache Kafka 的连续数据流。它支持无状态和有状态操作，能够在流数据上进行转换、聚合和窗口计算，同时具备容错性和可扩展性。与基于集群的流处理器不同，Kafka Streams 在应用进程中运行，利用 Kafka 的分区和存储机制实现并行处理和容错。它包含高级 DSL 和低级 API，可用于灵活开发实时数据管道。Kafka Streams 还提供强大的处理保证，例如在正确配置时的精确一次语义。

优点

• 无需单独的处理集群即可在应用程序中嵌入运行。
• 支持无状态和有状态流处理。
• 利用 Kafka 的分区实现可扩展的并行处理。
• 提供高级 DSL 和低级 API 以实现灵活开发。
• 实现容错性和强大的处理保证。

缺点

• 与 Kafka 和 Java 生态系统的紧密耦合可能限制语言灵活性。
• 对于不需要完整流处理的简单消费者任务，可能引入复杂性。
• 在大规模场景下，状态管理和调试可能具有挑战性。
• 不是独立集群，依赖应用部署进行扩展。
• 与简单 Kafka 消费者相比，对于简单任务可能具有更高的延迟和资源开销。

使用场景

• 事件驱动系统中的实时数据转换和增强。
• 对流数据进行持续聚合和分析。
• 构建对事件流做出反应的状态化微服务。
• 时间序列处理的窗口计算。
• 对应用状态进行交互式查询，用于仪表板或 API。