Procesarea în loturi gestionează datele în grupuri mari la ore programate. În loc să proceseze fiecare tranzacție pe măsură ce sosește, sistemul le colectează și le rulează împreună. Băncile au folosit procesarea în loturi timp de decenii pentru a compensa cecurile peste noapte. Sistemele de salarizare rulează în loturi pentru a calcula salariile și deducerile. Modelul funcționează atunci când promptitudinea este mai puțin importantă decât eficiența.

Compromisul este latența. Un job batch care rulează la ora 2 dimineața înseamnă că datele din ziua precedentă nu sunt disponibile până dimineața. Pentru salarizare și facturare, acest lucru este în regulă. Pentru detectarea fraudelor sau stabilirea prețurilor în timp real, nu este. Procesarea în flux gestionează aceste cazuri analizând datele pe măsură ce sosesc. Multe arhitecturi moderne folosesc ambele. Streaming-ul gestionează evenimentele urgente. Batch-ul gestionează analiza istorică, reconcilierea și raportarea. Cele două se completează reciproc. Job-urile batch sunt, de asemenea, mai ieftin de executat, deoarece pot fi programate în afara orelor de vârf, când resursele de calcul sunt inactive. Hadoop și Spark au popularizat procesarea în batch la scară largă în clustere distribuite. Tehnologia a evoluat, dar modelul este vechi: colectare, programare, procesare, livrare.

Caracteristicile procesării în loturi

• Programat — rulează la intervale definite, adesea peste noapte
• Volum mare — procesează eficient seturi mari de date
• Tolerant la latență — rezultatele nu sunt necesare imediat
• Eficient în resurse — utilizează capacitatea de calcul în afara orelor de vârf
• Deterministic - aceeași intrare produce aceeași ieșire

Procesarea în loturi nu este demodată. Este instrumentul potrivit atunci când randamentul contează mai mult decât viteza.