Le traitement par lots traite les données par grands groupes à des moments planifiés. Au lieu de traiter chaque transaction individuellement, le système les regroupe et les traite simultanément. Les banques ont utilisé le traitement par lots pendant des décennies pour encaisser les chèques du jour au lendemain. Les systèmes de paie utilisent des lots pour calculer les salaires et les retenues. Ce modèle est adapté lorsque l'efficacité prime sur la rapidité.

Le compromis réside dans la latence. Un traitement par lots exécuté à 2 h du matin signifie que les données de la veille ne seront disponibles que le lendemain matin. Pour la paie et la facturation, cela convient. En revanche, pour la détection des fraudes ou la tarification en temps réel, c'est problématique. Le traitement de flux gère ces cas en analysant les données dès leur arrivée. De nombreuses architectures modernes utilisent les deux méthodes. Le traitement de flux gère les événements urgents, tandis que le traitement par lots gère l'analyse historique, le rapprochement et la production de rapports. Les deux sont complémentaires. Les traitements par lots sont également moins coûteux à exécuter, car ils peuvent être planifiés pendant les heures creuses, lorsque les ressources de calcul sont inactives. Hadoop et Spark ont ​​popularisé le traitement par lots à grande échelle sur des clusters distribués. La technologie a évolué, mais le modèle reste le même : collecte, planification, traitement, livraison.

caractéristiques du traitement par lots

• Programmée — s'exécute à intervalles définis, souvent pendant la nuit
• Traitement efficace des volumes importants de données —
• Tolérance à la latence — résultats non requis immédiatement
• Utilisation efficace des ressources — exploite la capacité de calcul en dehors des heures de pointe
• Déterministe — une même entrée produit une même sortie

Le traitement par lots n'est pas obsolète. C'est l'outil idéal lorsque le débit prime sur la vitesse.