Batchverwerking verwerkt gegevens in grote groepen op geplande tijdstippen. In plaats van elke transactie afzonderlijk te verwerken, verzamelt het systeem ze en voert ze gezamenlijk uit. Banken gebruiken batchverwerking al decennia om cheques 's nachts te verwerken. Salarissystemen verwerken batches om lonen en inhoudingen te berekenen. Dit model werkt wanneer snelheid minder belangrijk is dan efficiëntie.

Het nadeel is de latentie. Een batchtaak die om 2 uur 's nachts wordt uitgevoerd, betekent dat de gegevens van de vorige dag pas 's ochtends beschikbaar zijn. Voor salarisadministratie en facturering is dat prima. Voor fraudedetectie of realtime prijsbepaling is dat echter niet het geval. Streamverwerking lost die problemen op door de gegevens te analyseren zodra ze binnenkomen. Veel moderne architecturen gebruiken beide. Streaming behandelt urgente gebeurtenissen. Batchverwerking behandelt historische analyses, afstemming en rapportage. De twee vullen elkaar aan. Batchtaken zijn bovendien goedkoper omdat ze kunnen worden ingepland tijdens daluren, wanneer computerbronnen niet beschikbaar zijn. Hadoop en Spark hebben grootschalige batchverwerking in gedistribueerde clusters populair gemaakt. De technologie is geëvolueerd, maar het patroon is oud: verzamelen, plannen, verwerken, leveren.

Kenmerken van batchverwerking

• Gepland — wordt uitgevoerd met vaste tussenpozen, vaak 's nachts.
• Hoog volume — verwerkt grote datasets efficiënt
• Tolerant voor vertraging — resultaten hoeven niet direct te worden verkregen
• Resource-efficiënt — maakt gebruik van rekenkracht buiten de piekuren
• Deterministisch — dezelfde invoer produceert dezelfde uitvoer

Batchverwerking is niet achterhaald. Het is de juiste oplossing wanneer doorvoer belangrijker is dan snelheid.