Stream-Prozessoren verarbeiten Daten kontinuierlich, sobald sie eintreffen. Anstatt Daten in Stapeln zu sammeln und in Intervallen zu verarbeiten, analysieren sie jedes Ereignis, während es das System durchläuft. Eine Kreditkartentransaktion wird innerhalb von Millisekunden auf Betrug geprüft. Ein Sensorwert löst eine Warnung aus, sobald er einen Schwellenwert überschreitet. Ein Clickstream aktualisiert ein Empfehlungsmodell in Echtzeit. Die Verarbeitung erfolgt dynamisch, nicht im Stillstand.

Die Architektur unterscheidet sich von der Batch-Verarbeitung. Daten treffen über Message Queues wie Kafka oder Kinesis ein. Stream-Prozessoren wie Flink, Spark Streaming oder Kafka Streams verarbeiten die Ereignisse, transformieren sie und geben die Ergebnisse aus. Das System muss verspätet eintreffende Ereignisse, Daten in falscher Reihenfolge und die „Exactly-Once“-Semantik berücksichtigen. Dies sind komplexe Herausforderungen. Verspätete Ereignisse erfordern Watermarks, um das Ende eines Zeitfensters zu bestimmen. Ereignisse in falscher Reihenfolge müssen gepuffert und neu angeordnet werden. Die „Exactly-Once“-Verarbeitung erfordert die Koordination zwischen Quelle, Prozessor und Ziel. Diese Prozesse korrekt umzusetzen ist komplex. Fehler führen zu inkonsistenten oder doppelten Ergebnissen. Stream-Verarbeitung ist leistungsstark für Anwendungsfälle, die sofortige Erkenntnisse erfordern. Für nächtliche Berichte ist sie jedoch überdimensioniert. Die Wahl zwischen Batch- und Stream-Verarbeitung hängt von den Latenzanforderungen ab. Sind Minuten oder Stunden akzeptabel, ist Batch-Verarbeitung einfacher und kostengünstiger. Sind Sekunden entscheidend, ist Stream-Verarbeitung die einzige Option.

Eigenschaften der Stromverarbeitung

• Kontinuierlich – verarbeitet Ereignisse, sobald sie eintreffen
• Niedrige Latenz – Millisekunden bis Sekunden
• Stateful – behält den Zustand über Ereignisse hinweg bei
• Komplex – verarbeitet verspätete und nicht geordnete Daten
• Skalierbar – verteilt sich auf viele Knoten

Streamverarbeitung ist im Prinzip Batchverarbeitung, nur umgekehrt. Anstatt auf die Ansammlung von Daten zu warten, reagiert sie auf jedes Ereignis, sobald es auftritt.