Datele în timp real sunt livrate și procesate imediat ce sunt generate. Un ticker bursier se actualizează în fiecare secundă. Un sistem de detectare a fraudelor evaluează o tranzacție în timp ce clientul așteaptă. O aplicație de ride-sharing conectează șoferii cu pasagerii în câteva secunde. Valoarea constă în viteză. O alertă de fraudă care sosește la o oră după tranzacție este inutilă. O actualizare a traficului care sosește după naveta este istorie. Datele în timp real permit luarea unor decizii care trebuie luate acum.

Infrastructura diferă de procesarea în loturi. Platformele de procesare în flux precum Kafka, Flink și Spark Streaming gestionează fluxuri continue de date. Acestea procesează evenimentele pe măsură ce sosesc, adesea în milisecunde. Arhitectura este mai complexă decât cea în loturi. Aveți nevoie de cozi de mesaje pentru a stoca datele în buffer, de procesoare de flux pentru a le transforma și de stocare cu latență redusă pentru a le servi. De asemenea, trebuie să gestionați datele care sosesc cu întârziere, evenimentele neordonate și procesarea „exactly-once”. Acestea sunt probleme dificile. Sistemele în timp real costă, de asemenea, mai mult pentru a fi construite și operate. Întrebarea este dacă cazul de utilizare justifică complexitatea. Detectarea fraudelor, licitarea în timp real și monitorizarea industrială justifică. Rapoartele lunare și rulările de salarizare peste noapte nu justifică. Timpul real este o cerință, nu o insignă de onoare. Folosiți-l atunci când latența contează. Folosiți loturile atunci când nu contează.

Caracteristici în timp real

• Latență redusă — milisecunde până la secunde
• Continuu — procesează evenimentele pe măsură ce sosesc
• Bazate pe fluxuri — cozi de mesaje și procesoare de fluxuri
• Complex — gestionează datele întârziate și neordonate
• Scump — mai multă infrastructură decât lot

Datele în timp real sunt despre prezent. Valoarea constă în a acționa înainte ca momentul să treacă.