Zpracování dat zpracovává data průběžně, jakmile přijdou. Namísto shromažďování dat do dávek a jejich zpracování v intervalech analyzují streamové procesory každou událost během jejího průchodu systémem. Transakce kreditní kartou je vyhodnocena na podvod v milisekundách. Odečet ze senzoru spustí upozornění, když překročí prahovou hodnotu. Clickstream aktualizuje model doporučení v reálném čase. Zpracování probíhá za pohybu, nikoli v klidu.

Architektura se liší od dávkového zpracování. Data přicházejí prostřednictvím front zpráv, jako je Kafka nebo Kinesis. Streamové procesory, jako je Flink, Spark Streaming nebo Kafka Streams, zpracovávají události, aplikují transformace a generují výsledky. Systém musí zpracovávat události s pozdním příchodem, data mimo pořadí a sémantiku přesně jednou. To jsou složité problémy. Pozdní události vyžadují vodoznaky, které určují, kdy je časové okno dokončeno. Události mimo pořadí vyžadují ukládání do vyrovnávací paměti a změnu pořadí. Zpracování přesně jednou vyžaduje koordinaci mezi zdrojem, procesorem a jímkou. Správné nastavení je složité. Pokud jsou chybné, výsledky jsou nekonzistentní nebo duplicitní. Streamové zpracování je výkonné pro případy užití, které vyžadují okamžitý vhled. Pro noční reporty je zbytečné. Volba mezi dávkovým zpracováním a streamem závisí na požadavku na latenci. Pokud jsou přijatelné minuty nebo hodiny, dávkové zpracování je jednodušší a levnější. Pokud záleží na sekundách, stream je jedinou možností.

Charakteristiky zpracování streamu

• Kontinuální – zpracovává události tak, jak přicházejí
• Nízká latence – milisekundy až sekundy
• Stavový – udržuje stav napříč událostmi
• Komplexní – zpracovává pozdní a neuspořádaná data
• Škálovatelný – distribuuje se napříč mnoha uzly

Zpracování proudu je dávkové zpracování obrácené naruby. Místo čekání na akumulaci dat reaguje na každou událost, jakmile se objeví.