Данные в режиме реального времени поступают и обрабатываются мгновенно по мере их генерации. Биржевой тикер обновляется каждую секунду. Система обнаружения мошенничества оценивает транзакцию, пока клиент ожидает. Приложение для совместных поездок подбирает водителей и пассажиров за считанные секунды. Ценность заключается в скорости. Уведомление о мошенничестве, пришедшее через час после транзакции, бесполезно. Информация о дорожной ситуации, пришедшая после начала поездки, уже в прошлом. Данные в режиме реального времени позволяют принимать решения, которые должны быть приняты немедленно.

Инфраструктура отличается от пакетной обработки. Платформы потоковой обработки, такие как Kafka, Flink и Spark Streaming, обрабатывают непрерывные потоки данных. Они обрабатывают события по мере их поступления, часто за миллисекунды. Архитектура сложнее, чем у пакетной обработки. Вам нужны очереди сообщений для буферизации данных, потоковые процессоры для их преобразования и хранилище с низкой задержкой для их обслуживания. Вам также необходимо обрабатывать данные, поступающие с задержкой, события, поступающие не по порядку, и обрабатывать данные ровно один раз. Это сложные задачи. Системы реального времени также обходятся дороже в создании и эксплуатации. Вопрос в том, оправдывает ли сложность сценарий использования. Обнаружение мошенничества, торги в реальном времени и промышленный мониторинг — оправдывают. Ежемесячные отчеты и ночные расчеты заработной платы — нет. Реальное время — это требование, а не знак отличия. Используйте его, когда важна задержка. Используйте пакетную обработку, когда она не важна.

Характеристики реального времени

• Низкая задержка — от миллисекунд до секунд.
• Непрерывный — обрабатывает события по мере их поступления.
• Потоковые вычисления — очереди сообщений и потоковые процессоры
• Сложный — обрабатывает данные с задержкой и не по порядку.
• Дороговато — требуется больше инфраструктуры, чем при пакетной обработке.

Данные в режиме реального времени актуальны на данный момент. Ценность заключается в том, чтобы действовать, прежде чем момент будет упущен.