실시간 데이터는 생성되는 즉시 전달되고 처리됩니다. 주식 시세 표시기는 매초 업데이트됩니다. 사기 탐지 시스템은 고객이 기다리는 동안 거래를 평가합니다. 차량 공유 앱은 몇 초 만에 운전자와 승객을 연결합니다. 핵심은 속도입니다. 거래 후 한 시간 뒤에 도착하는 사기 경고는 무용지물입니다. 출퇴근 시간이 지난 후에 도착하는 교통 정보도 마찬가지입니다. 실시간 데이터는 지금 당장 내려야 하는 결정을 가능하게 합니다.

스트림 처리 인프라는 배치 처리와 다릅니다. Kafka, Flink, Spark Streaming과 같은 스트림 처리 플랫폼은 지속적인 데이터 흐름을 처리합니다. 이러한 플랫폼은 이벤트가 도착하는 즉시, 종종 밀리초 단위로 처리합니다. 아키텍처는 배치 처리보다 더 복잡합니다. 데이터를 버퍼링하는 메시지 큐, 데이터를 변환하는 스트림 프로세서, 그리고 데이터를 저장할 저지연 스토리지가 필요합니다. 또한 지연 도착 데이터, 순서가 뒤바뀐 이벤트, 그리고 정확히 한 번만 처리되는 데이터도 처리해야 합니다. 이러한 요소들은 해결하기 어려운 문제입니다. 실시간 시스템은 구축 및 운영 비용도 더 많이 듭니다. 핵심은 사용 사례가 이러한 복잡성을 정당화하는지 여부입니다. 사기 탐지, 실시간 입찰, 산업 모니터링에는 실시간 처리가 적합하지만, 월간 보고서나 야간 급여 처리에는 적합하지 않습니다. 실시간 처리는 필수 요건이지, 자랑거리가 아닙니다. 지연 시간이 중요한 경우에 사용하고, 그렇지 않은 경우에는 배치 처리를 사용하십시오.

실시간 특성

• 낮은 지연 시간 - 밀리초에서 초 단위
• 연속형 — 이벤트가 발생하는 즉시 처리합니다.
• 스트림 기반 — 메시지 큐 및 스트림 프로세서
• 복잡한 환경 — 지연되거나 순서가 뒤바뀐 데이터를 처리합니다.
• 비싸다 - 일괄 처리 방식보다 더 많은 인프라가 필요하다

실시간 데이터는 바로 지금 이 순간에 관한 것입니다. 중요한 것은 그 순간을 놓치기 전에 행동하는 것입니다.