Akış işleme, gelen verileri sürekli olarak işler. Verileri gruplar halinde toplayıp aralıklarla işlemek yerine, akış işlemcileri sistemden akarken her olayı analiz eder. Bir kredi kartı işlemi milisaniyeler içinde sahtekarlık açısından değerlendirilir. Bir sensör okuması, bir eşiği aştığında uyarıyı tetikler. Bir tıklama akışı, öneri modelini gerçek zamanlı olarak günceller. İşleme, durağan halde değil, hareket halindeyken gerçekleşir.

Mimari, toplu işleme (batch) yönteminden farklıdır. Veriler, Kafka veya Kinesis gibi mesaj kuyrukları aracılığıyla gelir. Flink, Spark Streaming veya Kafka Streams gibi akış işlemcileri olayları tüketir, dönüşümler uygular ve sonuçları yayar. Sistem, geç gelen olayları, sırasız verileri ve tam olarak bir kez işleme (exactly-once) semantiğini ele almalıdır. Bunlar zor problemlerdir. Geç gelen olaylar, bir zaman aralığının ne zaman tamamlandığına karar vermek için su işaretleri gerektirir. Sırasız olaylar, tamponlama ve yeniden sıralama gerektirir. Tam olarak bir kez işleme, kaynak, işlemci ve hedef arasında koordinasyon gerektirir. Bunları doğru yapmak karmaşıktır. Yanlış yapıldığında, sonuçlar tutarsız veya tekrarlanmış olur. Akış işleme, anında bilgi gerektiren kullanım durumları için güçlüdür. Gece raporları için gereksizdir. Toplu işleme ve akış işleme arasındaki seçim, gecikme gereksinimine bağlıdır. Dakikalar veya saatler kabul edilebilir ise, toplu işleme daha basit ve daha ucuzdur. Saniyeler önemliyse, akış tek seçenektir.

Akış işleme özellikleri

• Sürekli — olayları geldikleri anda işler
• Düşük gecikme süresi — milisaniyeden saniyeye
• Durum bilgisi tutar — olaylar boyunca durumu korur.
• Karmaşık — geç ve sırasız verileri işler
• Ölçeklenebilir — birçok düğüme dağıtılır

Akış işleme, toplu işlemenin tam tersidir. Verilerin birikmesini beklemek yerine, her olay ortaya çıktığı anda işlem yapar.