リアルタイムデータは、生成されると同時に配信・処理されます。株価情報は毎秒更新されます。不正検出システムは、顧客が待っている間に取引を評価します。ライドシェアアプリは、ドライバーと乗客を数秒でマッチングします。重要なのはスピードです。取引から1時間後に届く不正アラートは役に立ちません。通勤後に届く交通情報は過去のものです。リアルタイムデータは、今すぐに実行しなければならない意思決定を可能にします。

インフラストラクチャはバッチ処理とは異なります。Kafka、Flink、Spark Streamingなどのストリーム処理プラットフォームは、継続的なデータフローを処理します。イベントは到着次第、多くの場合ミリ秒単位で処理されます。アーキテクチャはバッチ処理よりも複雑です。データをバッファリングするためのメッセージキュー、データを変換するためのストリームプロセッサ、そしてデータを配信するための低遅延ストレージが必要です。また、遅れて到着するデータ、順不同のイベント、そして厳密に1回だけ実行される処理にも対応する必要があります。これらは難しい問題です。リアルタイムシステムは構築と運用コストも高くなります。問題は、その複雑さに見合うユースケースがあるかどうかです。不正検出、リアルタイム入札、産業監視などは該当しますが、月次レポートや夜間の給与計算などは該当しません。リアルタイムは必須要件であり、名誉の証ではありません。レイテンシが重要な場合はリアルタイムを使用し、そうでない場合はバッチ処理を使用してください。

リアルタイム特性

• 低遅延 — ミリ秒から秒
• 継続的 — イベントが発生するとすぐに処理する
• ストリームベース — メッセージキューとストリームプロセッサ
• 複雑 — 遅延データや順不同データを処理する
• 高価 - バッチ処理よりもインフラストラクチャが必要

リアルタイムデータは「今」に関する情報です。その価値は、チャンスが過ぎ去る前に行動することにあります。