Η επεξεργασία ροής χειρίζεται τα δεδομένα συνεχώς καθώς φθάνουν. Αντί να συλλέγουν δεδομένα σε παρτίδες και να τα επεξεργάζονται ανά διαστήματα, οι επεξεργαστές ροής αναλύουν κάθε συμβάν καθώς ρέει μέσα από το σύστημα. Μια συναλλαγή με πιστωτική κάρτα αξιολογείται για απάτη σε χιλιοστά του δευτερολέπτου. Μια ένδειξη αισθητήρα ενεργοποιεί μια ειδοποίηση όταν υπερβαίνει ένα όριο. Ένα clickstream ενημερώνει ένα μοντέλο συστάσεων σε πραγματικό χρόνο. Η επεξεργασία γίνεται εν κινήσει, όχι σε ακινησία.

Η αρχιτεκτονική διαφέρει από την ομαδική επεξεργασία. Τα δεδομένα φτάνουν μέσω ουρών μηνυμάτων όπως το Kafka ή το Kinesis. Οι επεξεργαστές ροής όπως το Flink, το Spark Streaming ή το Kafka Streams καταναλώνουν τα συμβάντα, εφαρμόζουν μετασχηματισμούς και εκπέμπουν αποτελέσματα. Το σύστημα πρέπει να χειρίζεται συμβάντα που φθάνουν αργά, δεδομένα εκτός σειράς και σημασιολογία που λαμβάνεται ακριβώς μία φορά. Αυτά είναι δύσκολα προβλήματα. Τα συμβάντα που φθάνουν αργά απαιτούν υδατογραφήματα για να αποφασίσουν πότε ολοκληρώνεται ένα χρονικό παράθυρο. Τα συμβάντα που λαμβάνονται εκτός σειράς απαιτούν προσωρινή αποθήκευση και αναδιάταξη. Η επεξεργασία που πραγματοποιείται ακριβώς μία φορά απαιτεί συντονισμό μεταξύ της πηγής, του επεξεργαστή και του αποδέκτη. Η σωστή επεξεργασία αυτών των δεδομένων είναι περίπλοκη. Όταν είναι λανθασμένα, τα αποτελέσματα είναι ασυνεπή ή διπλότυπα. Η επεξεργασία ροής είναι ισχυρή για περιπτώσεις χρήσης που χρειάζονται άμεση γνώση. Είναι υπερβολική για τις νυχτερινές αναφορές. Η επιλογή μεταξύ ομαδικής και ροής εξαρτάται από την απαίτηση καθυστέρησης. Εάν τα λεπτά ή οι ώρες είναι αποδεκτά, η ομαδική επεξεργασία είναι απλούστερη και φθηνότερη. Εάν τα δευτερόλεπτα έχουν σημασία, η ροή είναι η μόνη επιλογή.

Χαρακτηριστικά επεξεργασίας ροής

• Συνεχής — επεξεργάζεται τα συμβάντα καθώς φτάνουν
• Χαμηλή καθυστέρηση — χιλιοστά του δευτερολέπτου έως δευτερόλεπτα
• Stateful — διατηρεί την κατάσταση σε όλα τα συμβάντα
• Σύνθετο — χειρίζεται δεδομένα που έχουν καθυστερήσει και είναι εκτός σειράς
• Κλιμακωτό — κατανέμεται σε πολλούς κόμβους

Η επεξεργασία ροής είναι μια μαζική επεξεργασία που έχει ανατραπεί. Αντί να περιμένει τη συσσώρευση δεδομένων, ενεργεί σε κάθε συμβάν όπως εμφανίζεται.