Το ETL σημαίνει εξαγωγή, μετασχηματισμός, φόρτωση. Αποτελεί το τυπικό μοτίβο για τη μετακίνηση δεδομένων σε αποθήκες εδώ και δεκαετίες. Η εξαγωγή αντλεί δεδομένα από τα συστήματα προέλευσης. Ο μετασχηματισμός τα καθαρίζει, τα επικυρώνει και τα αναδιαμορφώνει στο σχήμα-στόχο. Η φόρτωση τα εγγράφει στην αποθήκη. Ο μετασχηματισμός πραγματοποιείται πριν από τη φόρτωση, σε ξεχωριστό διακομιστή επεξεργασίας. Η αποθήκη λαμβάνει καθαρά, δομημένα δεδομένα.

Τα εργαλεία ETL έχουν εξελιχθεί. Τα πρώτα ETL κωδικοποιούνταν χειροκίνητα σε SQL και σενάρια. Εμπορικά εργαλεία όπως η Informatica και η DataStage πρόσθεσαν γραφικές διεπαφές και προγραμματισμό. Επιλογές ανοιχτού κώδικα όπως το Apache NiFi και το Talend διεύρυναν την πρόσβαση. Το μοτίβο παραμένει το ίδιο: εξαγωγή, μετασχηματισμός, φόρτωση. Το ETL εξακολουθεί να είναι η σωστή επιλογή όταν το σύστημα-στόχος δεν μπορεί να χειριστεί φόρτους εργασίας μετασχηματισμού, όταν οι όγκοι δεδομένων χρειάζονται μείωση πριν από τη φόρτωση ή όταν οι κανονιστικές απαιτήσεις απαιτούν τον μετασχηματισμό των ευαίσθητων δεδομένων πριν από την έξοδο από ένα ελεγχόμενο περιβάλλον. Είναι επίσης συνηθισμένο σε παλαιότερα περιβάλλοντα όπου η αποθήκη είναι μια παραδοσιακή συσκευή με περιορισμένη υπολογιστική ισχύ. Η άνοδος των αποθηκών cloud και του ELT μείωσε την κυριαρχία του ETL, αλλά δεν την εξάλειψε. Πολλοί οργανισμοί χρησιμοποιούν και τα δύο. ETL για παλαιότερα συστήματα και ευαίσθητα δεδομένα. ELT για αγωγούς cloud-native. Το μοτίβο δεν είναι ξεπερασμένο. Είναι μια επιλογή μεταξύ πολλών.

Χαρακτηριστικά ETL

• Μετασχηματισμός πρώτα — τα δεδομένα καθαρίζονται πριν από τη φόρτωση
• Ξεχωριστή επεξεργασία — μετασχηματισμός σε αποκλειστικό διακομιστή
• Μειωμένος όγκος — μόνο τα απαραίτητα δεδομένα φτάνουν στην αποθήκη
• Καθιερωμένο — δεκαετίες εργαλείων και πρακτικών
• Φιλικό προς το παλαιότερο σύστημα — λειτουργεί με παραδοσιακές αποθήκες

Το ETL είναι το κλασικό μοτίβο. Εξακολουθεί να λειτουργεί. Δεν είναι πάντα η καλύτερη επιλογή, αλλά σπάνια κάνει λάθος.