Streamverwerking verwerkt gegevens continu zodra ze binnenkomen. In plaats van gegevens in batches te verzamelen en met tussenpozen te verwerken, analyseren streamprocessors elke gebeurtenis terwijl deze door het systeem stroomt. Een creditcardtransactie wordt binnen milliseconden gecontroleerd op fraude. Een sensorwaarde activeert een waarschuwing wanneer deze een drempelwaarde overschrijdt. Een klikstroom werkt een aanbevelingsmodel in realtime bij. De verwerking vindt plaats terwijl de gegevens in beweging zijn, niet in rust.

De architectuur verschilt van batchverwerking. Data komt binnen via berichtenwachtrijen zoals Kafka of Kinesis. Streamprocessors zoals Flink, Spark Streaming of Kafka Streams verwerken de gebeurtenissen, passen transformaties toe en genereren resultaten. Het systeem moet omgaan met te laat binnenkomende gebeurtenissen, data die niet in de juiste volgorde binnenkomen en exact-once-semantiek. Dit zijn complexe problemen. Te laat binnenkomende gebeurtenissen vereisen watermerken om te bepalen wanneer een tijdsvenster is voltooid. Gebeurtenissen die niet in de juiste volgorde binnenkomen, vereisen buffering en herordening. Exact-once-verwerking vereist coördinatie tussen de bron, de processor en de bestemming. Het correct implementeren hiervan is complex. Wanneer dit niet het geval is, zijn de resultaten inconsistent of worden ze gedupliceerd. Streamverwerking is krachtig voor gebruikssituaties die direct inzicht vereisen. Het is overbodig voor nachtelijke rapporten. De keuze tussen batch en stream hangt af van de vereiste latentie. Als minuten of uren acceptabel zijn, is batchverwerking eenvoudiger en goedkoper. Als seconden ertoe doen, is streamverwerking de enige optie.

Kenmerken van streamverwerking

• Continu — verwerkt gebeurtenissen zodra ze binnenkomen
• Lage latentie — milliseconden tot seconden
• Stateful — behoudt de status tijdens gebeurtenissen
• Complex — verwerkt te late en niet-opeenvolgende gegevens
• Schaalbaar — verdeeld over meerdere knooppunten

Streamverwerking is batchverwerking in omgekeerde richting. In plaats van te wachten tot gegevens zich ophopen, wordt er op elke gebeurtenis gereageerd zodra deze zich voordoet.