Η εισαγωγή δεδομένων εισάγει δεδομένα σε ένα σύστημα για επεξεργασία. Είναι το πρώτο βήμα στη διαδικασία. Τα δεδομένα προέρχονται από βάσεις δεδομένων, API, αρχεία καταγραφής, ουρές μηνυμάτων και αισθητήρες. Το επίπεδο εισαγωγής τα συλλέγει, τα επικυρώνει και τα παραδίδει στην αποθήκευση ή την επεξεργασία. Εάν η εισαγωγή αποτύχει, όλα τα κατάντη σταματούν.

Η μέθοδος εξαρτάται από την πηγή και την απαίτηση καθυστέρησης. Η μαζική εισαγωγή δεδομένων λαμβάνει δεδομένα σε προγραμματισμένα χρονικά διαστήματα. Είναι απλή και αποτελεσματική για πηγές που ενημερώνονται αργά. Η ροή εισαγωγής επεξεργάζεται τα δεδομένα καθώς φθάνουν, κάτι που είναι απαραίτητο για αναλύσεις σε πραγματικό χρόνο και συστήματα που βασίζονται σε συμβάντα. Τα εργαλεία ποικίλλουν: Kafka για ροές υψηλής απόδοσης, Airflow για ενορχήστρωση παρτίδας, υπηρεσίες cloud-native για διαχειριζόμενες αγωγούς. Οι προκλήσεις είναι συνεπείς. Οι πηγές αλλάζουν τα σχήματά τους χωρίς προειδοποίηση. Τα δεδομένα φτάνουν αργά ή εκτός σειράς. Οι όγκοι αυξάνονται απρόβλεπτα. Το επίπεδο εισαγωγής πρέπει να τα χειρίζεται όλα χωρίς να χάνει δεδομένα ή να τα καταστρέφει. Οι μηχανισμοί αντίθλιψης αποτρέπουν την υπερφόρτωση. Οι ουρές με νεκρά γράμματα καταγράφουν εγγραφές που αποτυγχάνουν στην επεξεργασία. Η παρακολούθηση εντοπίζει προβλήματα πριν αυτά καταρρεύσουν. Η εισαγωγή είναι υδραυλική, αλλά η κακή υδραυλική πλημμυρίζει το σπίτι.

Πρότυπα κατάποσης

• Μαζική — προγραμματισμένες έλξεις σε διαστήματα
• Ροή δεδομένων — συνεχής επεξεργασία καθώς φτάνουν τα δεδομένα
• Καταγραφή δεδομένων αλλαγών — καταγράφει τις αλλαγές στη βάση δεδομένων σε πραγματικό χρόνο
• API polling — περιοδικά αιτήματα σε εξωτερικές υπηρεσίες
• Webhooks — ειδοποιήσεις push από συστήματα προέλευσης

Η εισαγωγή δεδομένων είναι η κύρια πηγή. Εάν τα δεδομένα χαθούν ή καταστραφούν εδώ, καμία επιδιόρθωση κατάντη δεν μπορεί να τα ανακτήσει.