A streamfeldolgozás folyamatosan kezeli az adatokat, amint azok beérkeznek. Ahelyett, hogy kötegekbe gyűjtenék az adatokat és időközönként feldolgoznák őket, a streamprocesszorok minden eseményt elemeznek, amint az áthalad a rendszeren. Egy hitelkártya-tranzakciót ezredmásodperc alatt kiértékelnek csalás szempontjából. Egy érzékelő által leolvasott érték riasztást vált ki, amikor átlép egy küszöbértéket. Egy kattintásfolyam valós időben frissíti az ajánlási modellt. A feldolgozás mozgásban történik, nem pedig nyugalmi állapotban.

Az architektúra eltér a kötegelt feldolgozástól. Az adatok üzenetsorokon keresztül érkeznek, mint például a Kafka vagy a Kinesis. Az olyan stream processzorok, mint a Flink, a Spark Streaming vagy a Kafka Streams, feldolgozzák az eseményeket, transzformációkat alkalmaznak és eredményeket bocsátanak ki. A rendszernek kezelnie kell a későn érkező eseményeket, a sorrenden kívüli adatokat és a pontosan egyszeri szemantikát. Ezek nehéz problémák. A késői eseményekhez vízjelekre van szükség annak eldöntéséhez, hogy mikor teljes egy időablak. A sorrenden kívüli események pufferelést és átrendezést igényelnek. A pontosan egyszeri feldolgozáshoz koordinációra van szükség a forrás, a processzor és a nyelő között. Ezek kijavítása összetett. Ha hibásak, az eredmények inkonzisztensek vagy duplikáltak. A stream feldolgozás hatékony azokban a használati esetekben, amelyek azonnali betekintést igényelnek. Az éjszakai jelentésekhez túlzás. A kötegelt és a stream közötti választás a késleltetési követelménytől függ. Ha a percek vagy az órák elfogadhatók, a batch egyszerűbb és olcsóbb. Ha a másodpercek számítanak, a stream az egyetlen lehetőség.

Adatfolyam-feldolgozási jellemzők

• Folyamatos – az eseményeket érkezésükkor dolgozza fel
• Alacsony késleltetés — milliszekundumtól másodpercig
• Állapotmegőrző – események között is megőrzi az állapotát
• Komplex – kezeli a késedelmes és sorrenden kívüli adatokat
• Skálázható – sok csomóponton eloszlik

A folyamfeldolgozás kifordított kötegelt feldolgozás. Ahelyett, hogy megvárná az adatok felhalmozódását, minden eseményre úgy reagál, ahogyan azok megjelennek.