Pemrosesan aliran data (stream processing) menangani data secara terus menerus saat data tersebut tiba. Alih-alih mengumpulkan data dalam batch dan memprosesnya secara berkala, pemroses aliran data menganalisis setiap peristiwa saat data tersebut mengalir melalui sistem. Transaksi kartu kredit dievaluasi untuk mendeteksi penipuan dalam hitungan milidetik. Pembacaan sensor memicu peringatan ketika melampaui ambang batas. Aliran klik (clickstream) memperbarui model rekomendasi secara real-time. Pemrosesan terjadi saat data bergerak, bukan saat diam.

Arsitektur pemrosesan data streaming berbeda dari pemrosesan batch. Data tiba melalui antrian pesan seperti Kafka atau Kinesis. Prosesor streaming seperti Flink, Spark Streaming, atau Kafka Streams mengonsumsi peristiwa, menerapkan transformasi, dan memancarkan hasilnya. Sistem harus menangani peristiwa yang datang terlambat, data yang tidak berurutan, dan semantik "tepat satu kali". Itu adalah masalah yang sulit. Peristiwa yang datang terlambat memerlukan penanda waktu untuk menentukan kapan jendela waktu selesai. Peristiwa yang tidak berurutan memerlukan buffering dan pengurutan ulang. Pemrosesan "tepat satu kali" memerlukan koordinasi antara sumber, prosesor, dan sink. Mendapatkan hasil yang tepat sangat kompleks. Jika salah, hasilnya tidak konsisten atau duplikat. Pemrosesan streaming sangat ampuh untuk kasus penggunaan yang membutuhkan wawasan langsung. Ini berlebihan untuk laporan harian. Pilihan antara batch dan streaming bergantung pada persyaratan latensi. Jika menit atau jam dapat diterima, batch lebih sederhana dan lebih murah. Jika detik penting, streaming adalah satu-satunya pilihan.

Karakteristik pemrosesan aliran data

• Berkelanjutan — memproses peristiwa saat peristiwa tersebut tiba
• Latensi rendah — milidetik hingga detik
• Berkeadaan tetap — mempertahankan keadaan di seluruh peristiwa
• Kompleks — menangani data yang terlambat dan tidak berurutan.
• Dapat diskalakan — didistribusikan ke banyak node

Pemrosesan aliran data (stream processing) adalah pemrosesan batch yang dibalik. Alih-alih menunggu data terkumpul, ia bertindak pada setiap peristiwa saat muncul.