Le traitement de flux traite les données en continu, au fur et à mesure de leur arrivée. Au lieu de les collecter par lots et de les traiter par intervalles, les processeurs de flux analysent chaque événement lors de son passage dans le système. Une transaction par carte bancaire est évaluée en quelques millisecondes pour détecter une fraude. La valeur d'un capteur déclenche une alerte lorsqu'elle dépasse un seuil prédéfini. Un flux de clics met à jour un modèle de recommandation en temps réel. Le traitement s'effectue en continu, et non à l'arrêt.

L'architecture diffère du traitement par lots. Les données arrivent via des files d'attente de messages comme Kafka ou Kinesis. Des processeurs de flux tels que Flink, Spark Streaming ou Kafka Streams consomment les événements, appliquent des transformations et émettent les résultats. Le système doit gérer les événements tardifs, les données désordonnées et la sémantique « une seule fois ». Ce sont des problèmes complexes. Les événements tardifs nécessitent des horodatages pour déterminer la fin d'une fenêtre temporelle. Les événements désordonnés nécessitent une mise en mémoire tampon et un réordonnancement. Le traitement « une seule fois » exige une coordination entre la source, le processeur et le récepteur. Assurer une implémentation correcte est complexe. En cas d'erreur, les résultats sont incohérents ou dupliqués. Le traitement de flux est puissant pour les cas d'utilisation nécessitant une information immédiate. Il est surdimensionné pour les rapports nocturnes. Le choix entre le traitement par lots et le traitement de flux dépend des exigences de latence. Si quelques minutes ou heures sont acceptables, le traitement par lots est plus simple et moins coûteux. Si la moindre seconde compte, le traitement de flux est la seule option.

caractéristiques du traitement en flux

• En continu — traite les événements au fur et à mesure de leur arrivée
• Faible latence — de quelques millisecondes à quelques secondes
• Avec état — conserve l'état entre les événements
• Complexe — gère les données en retard et désordonnées
• Évolutif — distribué sur de nombreux nœuds

Le traitement en flux continu est un traitement par lots inversé. Au lieu d'attendre l'accumulation des données, il agit sur chaque événement dès son apparition.