Les données en temps réel sont transmises et traitées instantanément dès leur génération. Un téléscripteur boursier se met à jour chaque seconde. Un système de détection de fraude évalue une transaction pendant que le client attend. Une application de covoiturage met en relation conducteurs et passagers en quelques secondes. La valeur réside dans la rapidité. Une alerte de fraude reçue une heure après la transaction est inutile. Une information trafic reçue après le trajet est obsolète. Les données en temps réel permettent de prendre des décisions qui doivent être prises immédiatement.

L'infrastructure diffère du traitement par lots. Les plateformes de traitement de flux comme Kafka, Flink et Spark Streaming gèrent des flux de données continus. Elles traitent les événements dès leur arrivée, souvent en quelques millisecondes. L'architecture est plus complexe que celle du traitement par lots. Elle nécessite des files d'attente de messages pour la mise en mémoire tampon des données, des processeurs de flux pour les transformer et un stockage à faible latence pour leur diffusion. Il faut également gérer les données arrivant en retard, les événements hors séquence et le traitement « une seule fois ». Ce sont des problèmes complexes. Les systèmes temps réel sont également plus coûteux à concevoir et à exploiter. La question est de savoir si le cas d'utilisation justifie cette complexité. La détection de fraude, les enchères en temps réel et la surveillance industrielle le justifient. Les rapports mensuels et le traitement de la paie nocturne ne le justifient pas. Le temps réel est une nécessité, pas un gage de qualité. Utilisez-le lorsque la latence est critique. Utilisez le traitement par lots dans le cas contraire.

Caractéristiques en temps réel

• Faible latence — de quelques millisecondes à quelques secondes
• En continu — traite les événements au fur et à mesure de leur arrivée
• Basé sur les flux — files d'attente de messages et processeurs de flux
• Complexe — gère les données en retard et désordonnées
• Coûteux — nécessite plus d'infrastructures que pour les lots

Les données en temps réel concernent l'instant présent. L'enjeu est d'agir avant que l'instant ne soit perdu.