即時資料一產生便立即傳輸處理。股票行情每秒鐘更新一次。詐欺偵測系統在客戶等待的同時評估交易。共乘應用程式在幾秒鐘內匹配司機和乘客。價值在於速度。交易發生一小時後才收到的詐欺警報毫無用處。通勤結束後才收到的交通資訊也早已過時。即時數據能夠支援必須立即做出的決策。
流程處理的基礎架構與批次截然不同。 Kafka、Flink 和 Spark Streaming 等流處理平台處理的是連續的資料流。它們會在事件到達時立即處理,通常只需幾毫秒。其架構比批次處理更複雜。你需要訊息佇列來緩衝數據,流處理器來轉換數據,以及低延遲儲存來提供服務。此外,你還需要處理延遲到達的資料、亂序事件以及精確一次處理。這些都是棘手的問題。建置和營運即時系統的成本也更高。問題在於,實際應用場景是否足以支撐這種複雜性。詐欺偵測、即時競價和工業監控等場景需要這種複雜性。而月報和隔夜工資結算則不需要。即時性是一種基本要求,而不是一種榮譽的象徵。當延遲至關重要時,使用即時處理;當延遲無關緊要時,使用批次處理。
即時特性
- 低延遲——毫秒至秒級
- 連續式-處理到達的事件
- 基於流的-訊息佇列和流處理器
- 複雜——處理延遲和亂序數據
- 成本高昂-比批量處理需要更多的基礎設施
即時數據關乎當下。其價值在於把握時機,在機會稍縱即逝前採取行動。
Comments
No comments yet. Be the first to share a thought.
Leave a comment