Die Stapelverarbeitung verarbeitet Daten in großen Gruppen zu festgelegten Zeiten. Anstatt jede Transaktion einzeln zu verarbeiten, sammelt das System sie und verarbeitet sie gemeinsam. Banken nutzen die Stapelverarbeitung seit Jahrzehnten, um Schecks über Nacht zu verrechnen. Lohnabrechnungssysteme verwenden Stapelverarbeitung, um Löhne und Abzüge zu berechnen. Dieses Modell eignet sich, wenn Effizienz wichtiger ist als Schnelligkeit.

Der Nachteil ist die Latenz. Ein Batch-Job, der um 2 Uhr nachts ausgeführt wird, bedeutet, dass die Daten des Vortages erst am Morgen verfügbar sind. Für Lohn- und Gehaltsabrechnung ist das akzeptabel. Für Betrugserkennung oder Echtzeit-Preisberechnung hingegen nicht. Stream-Verarbeitung löst diese Probleme, indem sie die Daten analysiert, sobald sie eintreffen. Viele moderne Architekturen nutzen beides. Streaming verarbeitet dringende Ereignisse. Batch-Verarbeitung übernimmt historische Analysen, Abgleiche und Berichterstellung. Die beiden Verfahren ergänzen sich. Batch-Jobs sind zudem kostengünstiger, da sie außerhalb der Spitzenzeiten geplant werden können, wenn Rechenressourcen ungenutzt sind. Hadoop und Spark haben die groß angelegte Batch-Verarbeitung in verteilten Clustern populär gemacht. Die Technologie hat sich weiterentwickelt, aber das Grundprinzip ist alt: Daten sammeln, planen, verarbeiten, liefern.

Charakteristika der Chargenverarbeitung

• Geplant – läuft in festgelegten Intervallen, oft über Nacht.
• Hohes Datenvolumen – verarbeitet große Datensätze effizient
• Latenztolerant – Ergebnisse werden nicht sofort benötigt
• Ressourceneffizient – ​​nutzt Rechenkapazität außerhalb der Spitzenzeiten
• Deterministisch – gleiche Eingabe erzeugt gleiche Ausgabe

Die Stapelverarbeitung ist nicht veraltet. Sie ist das richtige Werkzeug, wenn der Durchsatz wichtiger ist als die Geschwindigkeit.