Los datos en tiempo real se entregan y procesan inmediatamente después de generarse. Un indicador bursátil se actualiza cada segundo. Un sistema de detección de fraude evalúa una transacción mientras el cliente espera. Una aplicación de viajes compartidos conecta a conductores y pasajeros en segundos. La clave está en la velocidad. Una alerta de fraude que llega una hora después de la transacción es inútil. Una actualización de tráfico que llega después del trayecto es cosa del pasado. Los datos en tiempo real permiten tomar decisiones urgentes.

La infraestructura difiere del procesamiento por lotes. Las plataformas de procesamiento de flujos como Kafka, Flink y Spark Streaming manejan flujos de datos continuos. Procesan los eventos a medida que llegan, a menudo en milisegundos. La arquitectura es más compleja que la del procesamiento por lotes. Se necesitan colas de mensajes para almacenar los datos en búfer, procesadores de flujo para transformarlos y almacenamiento de baja latencia para servirlos. También es necesario gestionar los datos que llegan tarde, los eventos fuera de orden y el procesamiento exactamente una vez. Estos son problemas difíciles. Los sistemas en tiempo real también son más costosos de construir y operar. La pregunta es si el caso de uso justifica la complejidad. La detección de fraude, las licitaciones en tiempo real y la monitorización industrial sí lo hacen. Los informes mensuales y las nóminas nocturnas no. El tiempo real es un requisito, no un distintivo de honor. Úselo cuando la latencia sea importante. Use el procesamiento por lotes cuando no lo sea.

Características en tiempo real

• Baja latencia: de milisegundos a segundos.
• Continuo: procesa los eventos a medida que llegan.
• Basado en flujos: colas de mensajes y procesadores de flujos
• Complejo: maneja datos tardíos y fuera de orden.
• Costoso: más infraestructura que procesamiento por lotes.

Los datos en tiempo real se refieren al presente. El valor reside en actuar antes de que pase el momento.