Потоковая обработка данных происходит непрерывно по мере их поступления. Вместо сбора данных в пакеты и их обработки через определенные интервалы, потоковые процессоры анализируют каждое событие по мере его прохождения через систему. Транзакция по кредитной карте оценивается на предмет мошенничества за миллисекунды. Показания датчика вызывают оповещение, когда превышают пороговое значение. Поток кликов обновляет модель рекомендаций в режиме реального времени. Обработка происходит в движении, а не в состоянии покоя.

Архитектура отличается от пакетной обработки. Данные поступают через очереди сообщений, такие как Kafka или Kinesis. Потоковые процессоры, такие как Flink, Spark Streaming или Kafka Streams, обрабатывают события, применяют преобразования и выдают результаты. Система должна обрабатывать события, поступающие с задержкой, данные, поступающие не по порядку, и семантику "точно один раз". Это сложные задачи. Для событий с задержкой требуются водяные знаки, чтобы определить, когда временной интервал завершен. Для событий, поступающих не по порядку, требуется буферизация и переупорядочивание. Обработка с точностью до одного раза требует координации между источником, процессором и приемником. Правильное выполнение этих задач — сложная задача. При неправильном выполнении результаты получаются непоследовательными или дублируются. Потоковая обработка мощна для сценариев использования, требующих немедленного анализа. Для ночных отчетов она избыточна. Выбор между пакетной и потоковой обработкой зависит от требований к задержке. Если приемлемы минуты или часы, пакетная обработка проще и дешевле. Если важны секунды, потоковая обработка — единственный вариант.

Характеристики обработки потока

• Непрерывный — обрабатывает события по мере их поступления.
• Низкая задержка — от миллисекунд до секунд.
• Сохранение состояния — поддержание состояния между событиями
• Сложный — обрабатывает данные с задержкой и не по порядку.
• Масштабируемость — распределение по множеству узлов.

Потоковая обработка — это пакетная обработка, вывернутая наизнанку. Вместо того чтобы ждать накопления данных, она обрабатывает каждое событие по мере его появления.