Η μαζική επεξεργασία χειρίζεται δεδομένα σε μεγάλες ομάδες σε προγραμματισμένες ώρες. Αντί να επεξεργάζεται κάθε συναλλαγή καθώς έρχεται, το σύστημα τα συλλέγει και τα επεξεργάζεται μαζί. Οι τράπεζες χρησιμοποιούσαν την μαζική επεξεργασία για δεκαετίες για να εκκαθαρίζουν τις επιταγές εν μία νυκτί. Τα συστήματα μισθοδοσίας εκτελούν μαζικά για να υπολογίζουν μισθούς και κρατήσεις. Το μοντέλο λειτουργεί όταν η έγκαιρη πληρωμή είναι λιγότερο σημαντική από την αποτελεσματικότητα.
Το αντάλλαγμα είναι η καθυστέρηση. Μια μαζική εργασία που εκτελείται στις 2 π.μ. σημαίνει ότι τα δεδομένα της προηγούμενης ημέρας δεν είναι διαθέσιμα μέχρι το πρωί. Για τη μισθοδοσία και την χρέωση, αυτό είναι εντάξει. Για την ανίχνευση απάτης ή την τιμολόγηση σε πραγματικό χρόνο, δεν είναι. Η επεξεργασία ροής χειρίζεται αυτές τις περιπτώσεις αναλύοντας τα δεδομένα καθώς φτάνουν. Πολλές σύγχρονες αρχιτεκτονικές χρησιμοποιούν και τα δύο. Η ροή χειρίζεται επείγοντα συμβάντα. Η μαζική επεξεργασία χειρίζεται την ιστορική ανάλυση, τη συμφωνία και την αναφορά. Τα δύο αλληλοσυμπληρώνονται. Οι μαζικές εργασίες είναι επίσης φθηνότερες στην εκτέλεση επειδή μπορούν να προγραμματιστούν εκτός ωρών αιχμής, όταν οι υπολογιστικοί πόροι είναι αδρανείς. Τα Hadoop και Spark διέδωσαν την μαζική επεξεργασία μεγάλης κλίμακας σε κατανεμημένα clusters. Η τεχνολογία εξελίχθηκε, αλλά το μοτίβο είναι παλιό: συλλογή, προγραμματισμός, επεξεργασία, παράδοση.
Χαρακτηριστικά επεξεργασίας παρτίδας
- Προγραμματισμένο — εκτελείται σε καθορισμένα χρονικά διαστήματα, συχνά κατά τη διάρκεια της νύχτας
- Μεγάλος όγκος — επεξεργάζεται αποτελεσματικά μεγάλα σύνολα δεδομένων
- Ανεκτικό στην καθυστέρηση — τα αποτελέσματα δεν χρειάζονται άμεσα
- Αποδοτική χρήση πόρων — χρησιμοποιεί υπολογιστική χωρητικότητα εκτός αιχμής
- Ντετερμινιστική — η ίδια είσοδος παράγει την ίδια έξοδο
Η μαζική επεξεργασία δεν είναι ξεπερασμένη. Είναι το κατάλληλο εργαλείο όταν η απόδοση έχει μεγαλύτερη σημασία από την ταχύτητα.
Comments
No comments yet. Be the first to share a thought.
Leave a comment