Μια λίμνη δεδομένων αποθηκεύει ακατέργαστα δεδομένα στην εγγενή τους μορφή. Δεν επιβάλλεται σχήμα κατά την εγγραφή. Οι δομημένοι πίνακες, τα αρχεία καταγραφής JSON, οι εικόνες και τα βίντεο βρίσκονται όλα στο ίδιο αποθετήριο. Το σχήμα εφαρμόζεται κατά την ανάγνωση των δεδομένων, όχι κατά την αποθήκευσή τους. Αυτή η ευελιξία είναι το πλεονέκτημα. Η λίμνη δεδομένων δέχεται οτιδήποτε. Δεν απαιτεί να γνωρίζετε πώς θα χρησιμοποιήσετε τα δεδομένα πριν τα αποθηκεύσετε.

Η ευελιξία είναι επίσης το πρόβλημα. Χωρίς διακυβέρνηση, μια λίμνη δεδομένων μετατρέπεται σε βάλτο δεδομένων. Κανείς δεν ξέρει τι περιέχει. Τα αρχεία έχουν κρυπτικά ονόματα. Λείπουν μεταδεδομένα. Τα δεδομένα αντιγράφονται σε φακέλους. Οι αναλυτές δεν μπορούν να βρουν αυτό που χρειάζονται. Οι επιστήμονες δεδομένων σπαταλούν χρόνο καθαρίζοντας και εξερευνώντας αντί να αναλύουν. Η λίμνη γίνεται κέντρο κόστους, όχι περιουσιακό στοιχείο. Η λύση είναι η διακυβέρνηση: κατάλογοι, μεταδεδομένα, έλεγχοι πρόσβασης και σαφής ιδιοκτησία. Οι σύγχρονες αρχιτεκτονικές data lakehouse προσθέτουν μορφές πινάκων όπως Delta Lake και Iceberg που φέρνουν την επιβολή σχήματος, τις συναλλαγές ACID και την απόδοση ερωτημάτων στη λίμνη. Η λίμνη και η αποθήκη συγκλίνουν. Το καλύτερο και των δύο: η ευελιξία της ακατέργαστης αποθήκευσης και η αξιοπιστία των δομημένων πινάκων. Η τεχνολογία βελτιώθηκε. Η απαίτηση διακυβέρνησης παραμένει.

Χαρακτηριστικά της λίμνης δεδομένων

• Σχήμα κατά την ανάγνωση — εφαρμογή δομής κατά την υποβολή ερωτημάτων
• Ακατέργαστη αποθήκευση — δεδομένα που διατηρούνται στην αρχική τους μορφή
• Επεκτάσιμο — χειρίζεται petabytes σε χώρο αποθήκευσης εμπορευμάτων
• Ευέλικτο — υποστηρίζει δομημένα, ημιδομημένα και μη δομημένα δεδομένα
• Εξαρτάται από τη διακυβέρνηση — χωρίς καταλογογράφηση, γίνεται βάλτος

Μια λίμνη δεδομένων είναι μια δεξαμενή. Χωρίς χάρτη, είναι απλώς ένα υδάτινο σώμα.