EN - FR - DE - ES - IT - PT -

LexiconDream

🔁 ELT

Extractie-, laad- en transformatieprocessen voor moderne datapijplijnen.

ELT

ELT staat voor extract, load, transform. Het keert de traditionele ETL-volgorde om. Gegevens worden uit de bronnen geëxtraheerd en direct in hun ruwe vorm in het doelsysteem geladen. Transformaties vinden plaats in het doelsysteem, meestal een cloud-datawarehouse, met behulp van de rekenkracht van dat systeem. Deze aanpak werd populair toen cloud-datawarehouses schaalbaarder werden en de verwerkingskosten daalden. Waarom transformeren op een aparte server als het datawarehouse dat sneller en goedkoper kan?

ELT heeft voordelen. Ruwe data wordt bewaard in het datawarehouse, waardoor transformaties opnieuw kunnen worden uitgevoerd zonder de data opnieuw uit de bronnen te hoeven halen. Nieuwe transformaties kunnen met terugwerkende kracht worden toegepast. Het doelsysteem neemt het zware werk voor zijn rekening, wat de pipeline-architectuur vereenvoudigt. Tools zoals dbt hebben software-engineeringpraktijken naar transformatie gebracht: versiebeheer, testen, documentatie en modulaire code. De keerzijde is dat het datawarehouse krachtig genoeg moet zijn om zowel opslag als transformatie te verwerken. Het betekent ook dat ruwe, mogelijk gevoelige data in het datawarehouse wordt opgeslagen vóór de transformatie. Toegangscontroles moeten deze data beschermen. ELT is niet per definitie beter dan ETL. Voor sommige workloads vermindert transformatie vóór het laden de hoeveelheid data die het datawarehouse bereikt. Voor andere workloads wint de flexibiliteit van ELT het. De keuze hangt af van de mogelijkheden van het doelsysteem en de voorkeuren van het team.

ELT-kenmerken

ELT is ETL in omgekeerde richting. Het datawarehouse doet het werk. De pipeline verplaatst alleen de data.

Comments

No comments yet. Be the first to share a thought.

Leave a comment