Przetwarzanie wsadowe przetwarza dane w dużych grupach w zaplanowanych terminach. Zamiast przetwarzać każdą transakcję w momencie jej otrzymania, system gromadzi je i przetwarza zbiorczo. Banki przez dziesięciolecia stosowały przetwarzanie wsadowe do rozliczania czeków z dnia na dzień. Systemy kadrowo-płacowe generują wsadowo dane do obliczania wynagrodzeń i potrąceń. Model ten sprawdza się, gdy terminowość jest mniej ważna niż wydajność.

Kompromisem jest opóźnienie. Zadanie wsadowe uruchamiane o 2 w nocy oznacza, że ​​dane z poprzedniego dnia są dostępne dopiero rano. W przypadku list płac i rozliczeń jest to w porządku. W przypadku wykrywania oszustw lub ustalania cen w czasie rzeczywistym nie. Przetwarzanie strumieniowe obsługuje takie przypadki, analizując dane w miarę ich napływania. Wiele nowoczesnych architektur korzysta z obu tych metod. Przetwarzanie strumieniowe obsługuje zdarzenia pilne. Przetwarzanie wsadowe obsługuje analizę historyczną, uzgadnianie i raportowanie. Te dwie metody wzajemnie się uzupełniają. Zadania wsadowe są również tańsze w realizacji, ponieważ można je zaplanować poza godzinami szczytu, gdy zasoby obliczeniowe są niewykorzystane. Hadoop i Spark spopularyzowały przetwarzanie wsadowe na dużą skalę w rozproszonych klastrach. Technologia ewoluowała, ale schemat działania jest stary: zbierz, zaplanuj, przetwórz, dostarcz.

Charakterystyka przetwarzania wsadowego

• Zaplanowane — odbywają się w określonych odstępach czasu, często w nocy
• Duża objętość — wydajne przetwarzanie dużych zestawów danych
• Tolerancja opóźnień — wyniki nie są potrzebne natychmiast
• Efektywne wykorzystanie zasobów — wykorzystuje moc obliczeniową poza szczytem
• Deterministyczny — ten sam wkład generuje ten sam wynik

Przetwarzanie wsadowe nie jest przestarzałe. To właściwe narzędzie, gdy przepustowość jest ważniejsza niż szybkość.