Os dados em tempo real são entregues e processados ​​imediatamente após serem gerados. Um ticker de ações é atualizado a cada segundo. Um sistema de deteção de fraude avalia uma transação enquanto o cliente espera. Uma aplicação de transporte por aplicação liga motoristas e passageiros em segundos. O valor está na velocidade. Um alerta de fraude que chegue uma hora após a transação é inútil. Uma atualização de trânsito que chega depois do percurso já é história. Os dados em tempo real permitem decisões que têm de ser tomadas agora.

A infraestrutura difere do processamento em batch. As plataformas de processamento de fluxos, como o Kafka, Flink e Spark Streaming, lidam com fluxos contínuos de dados. Processam os eventos à medida que chegam, frequentemente em milissegundos. A arquitetura é mais complexa do que a do processamento em batch. Necessita de filas de mensagens para armazenar os dados em buffer, processadores de fluxo para os transformar e armazenamento de baixa latência para os disponibilizar. Também tem de lidar com dados que chegam com atraso, eventos fora de ordem e processamento exatamente uma vez. Estes são problemas complexos. Os sistemas em tempo real também custam mais a construir e a operar. A questão é se o caso de uso justifica a complexidade. A deteção de fraudes, os concursos em tempo real e a monitorização industrial justificam. Relatórios mensais e processamento de folha de pagamento noturno, não. O tempo real é um requisito, não um diferencial. Utilize-o quando a latência for importante. Utilize processamento em lote quando não for.

Características em tempo real

• Baixa latência — milissegundos a segundos
• Contínuo — processa os eventos à medida que estes chegam.
• Baseado no fluxo — filas de mensagens e processadores de fluxo
• Complexo — lida com dados atrasados ​​e fora de ordem.
• Caro — requer mais infraestruturas do que o processamento em batch.

Os dados em tempo real dizem respeito ao agora. O valor está em agir antes que o momento passe.