Dane w czasie rzeczywistym są dostarczane i przetwarzane natychmiast po ich wygenerowaniu. Informacja o kursie akcji aktualizuje się co sekundę. System wykrywania oszustw analizuje transakcję, podczas gdy klient czeka. Aplikacja do współdzielenia przejazdów dopasowuje kierowców do pasażerów w ciągu kilku sekund. Wartość tkwi w szybkości. Alert o oszustwie, który pojawia się godzinę po transakcji, jest bezużyteczny. Aktualizacja ruchu drogowego, która pojawia się po dojeździe do pracy, to już przeszłość. Dane w czasie rzeczywistym umożliwiają podejmowanie decyzji, które muszą zostać podjęte natychmiast.

Infrastruktura różni się od przetwarzania wsadowego. Platformy przetwarzania strumieniowego, takie jak Kafka, Flink i Spark Streaming, obsługują ciągły przepływ danych. Przetwarzają zdarzenia w miarę ich napływania, często w milisekundach. Architektura jest bardziej złożona niż przetwarzanie wsadowe. Potrzebne są kolejki komunikatów do buforowania danych, procesory strumieniowe do ich przetwarzania oraz pamięć masowa o niskim opóźnieniu do ich obsługi. Trzeba również obsługiwać dane docierające z opóźnieniem, zdarzenia w nieprawidłowej kolejności i przetwarzanie dokładnie raz. To trudne problemy. Systemy czasu rzeczywistego są również droższe w budowie i eksploatacji. Pytanie brzmi, czy dany przypadek użycia uzasadnia złożoność. Wykrywanie oszustw, licytowanie w czasie rzeczywistym i monitorowanie przemysłowe tak. Miesięczne raporty i nocne listy płac nie. Czas rzeczywisty to wymóg, a nie powód do dumy. Używaj go, gdy opóźnienia mają znaczenie. Używaj przetwarzania wsadowego, gdy nie ma.

Charakterystyki w czasie rzeczywistym

• Niskie opóźnienie — od milisekund do sekund
• Ciągły — przetwarza zdarzenia w miarę ich pojawiania się
• Oparte na strumieniach — kolejki komunikatów i procesory strumieniowe
• Złożony — obsługuje dane spóźnione i nieuporządkowane
• Drogie — więcej infrastruktury niż partii

Dane w czasie rzeczywistym dotyczą teraźniejszości. Wartość tkwi w działaniu, zanim nadejdzie odpowiedni moment.