Dữ liệu thời gian thực được cung cấp và xử lý ngay lập tức khi được tạo ra. Bảng giá chứng khoán cập nhật mỗi giây. Hệ thống phát hiện gian lận đánh giá giao dịch trong khi khách hàng chờ đợi. Ứng dụng chia sẻ xe kết nối tài xế và hành khách chỉ trong vài giây. Giá trị nằm ở tốc độ. Cảnh báo gian lận đến sau một giờ giao dịch là vô ích. Thông tin cập nhật giao thông đến sau giờ cao điểm đã lỗi thời. Dữ liệu thời gian thực cho phép đưa ra những quyết định cần thiết ngay lập tức.

Cơ sở hạ tầng xử lý dữ liệu thời gian thực khác với xử lý theo lô. Các nền tảng xử lý dữ liệu luồng như Kafka, Flink và Spark Streaming xử lý các luồng dữ liệu liên tục. Chúng xử lý các sự kiện ngay khi chúng đến, thường chỉ trong vài mili giây. Kiến trúc phức tạp hơn so với xử lý theo lô. Bạn cần hàng đợi tin nhắn để đệm dữ liệu, bộ xử lý luồng để chuyển đổi dữ liệu và bộ nhớ có độ trễ thấp để phục vụ. Bạn cũng cần xử lý dữ liệu đến muộn, các sự kiện không theo thứ tự và xử lý chính xác một lần. Đó là những vấn đề khó khăn. Hệ thống thời gian thực cũng tốn kém hơn để xây dựng và vận hành. Câu hỏi đặt ra là liệu trường hợp sử dụng có xứng đáng với sự phức tạp đó hay không. Phát hiện gian lận, đấu thầu thời gian thực và giám sát công nghiệp thì có. Báo cáo hàng tháng và chạy bảng lương qua đêm thì không. Thời gian thực là một yêu cầu, không phải là một danh hiệu. Hãy sử dụng nó khi độ trễ là vấn đề quan trọng. Hãy sử dụng xử lý theo lô khi độ trễ không quan trọng.

Đặc điểm thời gian thực

• Độ trễ thấp — từ mili giây đến giây
• Liên tục — xử lý các sự kiện khi chúng xảy ra
• Dựa trên luồng — hàng đợi tin nhắn và bộ xử lý luồng
• Phức tạp — xử lý dữ liệu đến muộn và không theo thứ tự
• Tốn kém — cần nhiều cơ sở hạ tầng hơn so với sản xuất hàng loạt.

Dữ liệu thời gian thực phản ánh hiện tại. Giá trị nằm ở việc hành động trước khi khoảnh khắc đó trôi qua.