Flujos de Kafka

Una biblioteca Java del lado del cliente para construir aplicaciones de procesamiento de flujos en tiempo real que leen y escriben datos en temas de Apache Kafka.

Definición

Kafka Streams es una biblioteca de procesamiento de flujos ligera diseñada para integrarse directamente dentro de aplicaciones Java o microservicios para procesar flujos de datos continuos de Apache Kafka. Soporta operaciones sin estado y con estado, permitiendo transformaciones, agregaciones y cálculos con ventanas en datos en streaming con tolerancia a fallos y escalabilidad. A diferencia de los procesadores de flujos basados en clústeres, Kafka Streams se ejecuta dentro de los procesos de las aplicaciones, aprovechando las mecanismos de particionamiento y almacenamiento de Kafka para el procesamiento paralelo y la resiliencia. Incluye lenguajes de dominio específicos (DSLs) de alto nivel y APIs de bajo nivel para el desarrollo flexible de pipelines en tiempo real. Kafka Streams también ofrece garantías de procesamiento sólidas, como semántica exactamente una vez, cuando se configura correctamente.

Ventajas

• Se ejecuta integrado en aplicaciones sin necesidad de un clúster de procesamiento separado.
• Soporta tanto el procesamiento de flujos sin estado como con estado.
• Aprovecha el particionamiento de Kafka para un procesamiento paralelo escalable.
• Proporciona un DSL de alto nivel y APIs de bajo nivel para un desarrollo flexible.
• Permite tolerancia a fallos y garantías de procesamiento sólidas.

Desventajas

• El acoplamiento estrecho con Kafka y el ecosistema Java puede limitar la flexibilidad del lenguaje.
• Puede introducir complejidad para tareas de consumidor simples donde el procesamiento completo de flujos no sea necesario.
• La gestión del estado y la depuración pueden ser desafiantes a gran escala.
• No es un clúster independiente; depende de la implementación de la aplicación para la escalabilidad.
• La latencia y la sobrecarga de recursos pueden ser mayores en comparación con consumidores simples de Kafka para tareas triviales.

Casos de uso

• Transformación y enriquecimiento de datos en tiempo real en sistemas orientados a eventos.
• Agregaciones continuas y análisis sobre datos en streaming.
• Construcción de microservicios con estado que reaccionen a flujos de eventos.
• Cálculos con ventanas para procesamiento de series temporales.
• Consultas interactivas del estado de la aplicación para dashboards o APIs.