Пакетная обработка данных предполагает обработку больших групп данных в запланированное время. Вместо обработки каждой транзакции по мере ее поступления, система собирает их и обрабатывает вместе. Банки десятилетиями использовали пакетную обработку для обработки чеков за одну ночь. Системы расчета заработной платы используют пакетную обработку для расчета заработной платы и вычетов. Эта модель работает, когда своевременность менее важна, чем эффективность.

Компромисс заключается в задержке. Пакетная обработка, запускаемая в 2 часа ночи, означает, что данные за предыдущий день станут доступны только утром. Для расчета заработной платы и выставления счетов это приемлемо. Для обнаружения мошенничества или ценообразования в реальном времени — нет. Потоковая обработка решает эти задачи, анализируя данные по мере их поступления. Многие современные архитектуры используют оба подхода. Потоковая обработка обрабатывает срочные события. Пакетная обработка занимается историческим анализом, сверкой и составлением отчетов. Эти два подхода дополняют друг друга. Пакетные задания также дешевле в выполнении, поскольку их можно планировать на непиковые часы, когда вычислительные ресурсы простаивают. Hadoop и Spark популяризировали крупномасштабную пакетную обработку в распределенных кластерах. Технология развивалась, но схема осталась прежней: сбор, планирование, обработка, доставка.

Характеристики пакетной обработки

• Плановые рейсы — выполняются через определенные интервалы, часто в течение ночи.
• Высокая производительность — эффективная обработка больших наборов данных.
• Устойчивость к задержке — результаты не требуются немедленно.
• Ресурсоэффективный подход — использование вычислительных мощностей в непиковое время.
• Детерминированный процесс — одинаковые входные данные дают одинаковый результат.

Пакетная обработка не устарела. Это подходящий инструмент, когда производительность важнее скорости.