Een data lake slaat ruwe data op in de oorspronkelijke vorm. Er wordt geen schema afgedwongen bij het schrijven. Gestructureerde tabellen, JSON-logs, afbeeldingen en video's bevinden zich allemaal in dezelfde opslagplaats. Het schema wordt toegepast wanneer de data wordt gelezen, niet wanneer deze wordt opgeslagen. Die flexibiliteit is de aantrekkingskracht. Een data lake accepteert alles. Je hoeft niet te weten hoe je de data gaat gebruiken voordat je deze opslaat.

De flexibiliteit is tegelijkertijd ook het probleem. Zonder governance verandert een data lake in een data moeras. Niemand weet wat erin zit. Bestanden hebben cryptische namen. Metadata ontbreekt. De data is gedupliceerd in verschillende mappen. Analisten kunnen niet vinden wat ze nodig hebben. Data scientist verspillen tijd aan opschonen en verkennen in plaats van analyseren. De lake wordt een kostenpost in plaats van een waardevolle aanwinst. De oplossing is governance: catalogi, metadata, toegangscontrole en duidelijke eigendomsstructuur. Moderne data lakehouse-architecturen voegen tabelformaten zoals Delta Lake en Iceberg toe, die schemahandhaving, ACID-transacties en queryprestaties naar de lake brengen. De lake en het datawarehouse komen samen. Het beste van beide werelden: de flexibiliteit van ruwe opslag en de betrouwbaarheid van gestructureerde tabellen. De technologie is verbeterd. De governance-eis blijft echter bestaan.

Kenmerken van een data lake

• Schema-on-read — pas de structuur toe tijdens het opvragen van gegevens
• Onbewerkte opslag — gegevens worden in hun oorspronkelijke formaat bewaard.
• Schaalbaar — verwerkt petabytes op standaard opslag.
• Flexibel — ondersteunt gestructureerde, semi-gestructureerde en ongestructureerde data.
• Afhankelijk van het bestuur — zonder catalogisering wordt het een moeras.

Een data lake is een reservoir. Zonder kaart is het slechts een watermassa.