Data waktu nyata dikirim dan diproses segera setelah dihasilkan. Informasi harga saham diperbarui setiap detik. Sistem deteksi penipuan mengevaluasi transaksi saat pelanggan menunggu. Aplikasi berbagi tumpangan mencocokkan pengemudi dan penumpang dalam hitungan detik. Nilainya terletak pada kecepatan. Peringatan penipuan yang tiba satu jam setelah transaksi tidak berguna. Pembaruan lalu lintas yang tiba setelah jam sibuk sudah ketinggalan zaman. Data waktu nyata memungkinkan pengambilan keputusan yang harus dilakukan sekarang juga.

Infrastruktur berbeda dari pemrosesan batch. Platform pemrosesan stream seperti Kafka, Flink, dan Spark Streaming menangani aliran data berkelanjutan. Mereka memproses peristiwa saat tiba, seringkali dalam hitungan milidetik. Arsitekturnya lebih kompleks daripada batch. Anda memerlukan antrian pesan untuk menyangga data, prosesor stream untuk mengubahnya, dan penyimpanan latensi rendah untuk menyajikannya. Anda juga perlu menangani data yang datang terlambat, peristiwa yang tidak berurutan, dan pemrosesan tepat satu kali. Itu adalah masalah yang sulit. Sistem real-time juga lebih mahal untuk dibangun dan dioperasikan. Pertanyaannya adalah apakah kasus penggunaan tersebut membenarkan kompleksitasnya. Deteksi penipuan, penawaran real-time, dan pemantauan industri membenarkannya. Laporan bulanan dan proses penggajian semalaman tidak. Real-time adalah persyaratan, bukan lencana kehormatan. Gunakan saat latensi penting. Gunakan batch saat latensi tidak penting.

Karakteristik waktu nyata

• Latensi rendah — milidetik hingga detik
• Berkelanjutan — memproses peristiwa saat peristiwa tersebut tiba
• Berbasis aliran — antrian pesan dan prosesor aliran
• Kompleks — menangani data yang terlambat dan tidak berurutan.
• Mahal — membutuhkan infrastruktur lebih banyak daripada batch.

Data waktu nyata adalah tentang saat ini. Nilainya terletak pada bertindak sebelum momen itu berlalu.