Realtidsdata levereras och bearbetas omedelbart när de genereras. En aktiekurs uppdateras varje sekund. Ett system för bedrägeridetektering utvärderar en transaktion medan kunden väntar. En samåkningsapp matchar förare och passagerare på några sekunder. Värdet ligger i hastigheten. En bedrägerivarning som kommer en timme efter transaktionen är värdelös. En trafikuppdatering som kommer efter pendlingen är historia. Realtidsdata möjliggör beslut som måste fattas nu.

Infrastrukturen skiljer sig från batchbehandling. Strömbehandlingsplattformar som Kafka, Flink och Spark Streaming hanterar kontinuerliga dataflöden. De bearbetar händelser när de anländer, ofta på millisekunder. Arkitekturen är mer komplex än batchbehandling. Du behöver meddelandeköer för att buffra data, strömprocessorer för att transformera den och lagring med låg latens för att hantera den. Du måste också hantera sent ankommande data, händelser i fel ordning och exakt engångsbearbetning. Det är svåra problem. Realtidssystem kostar också mer att bygga och driva. Frågan är om användningsfallet motiverar komplexiteten. Bedrägeriupptäckt, budgivning i realtid och industriell övervakning gör det. Månadsrapporter och lönekörningar över natten gör det inte. Realtid är ett krav, inte en hedersbeteckning. Använd det när latens spelar roll. Använd batch när det inte gör det.

Realtidsegenskaper

• Låg latens — millisekunder till sekunder
• Kontinuerlig — bearbetar händelser allt eftersom de anländer
• Strömbaserad — meddelandeköer och strömprocessorer
• Komplex — hanterar sena och felaktiga data
• Dyrt — mer infrastruktur än batch

Realtidsdata handlar om nuet. Värdet ligger i att agera innan ögonblicket är över.