ETL staat voor extract, transform, load. Het is al decennialang de standaardmethode voor het verplaatsen van data naar datawarehouses. Extract haalt data uit bronsystemen. Transform reinigt, valideert en herschikt de data naar het gewenste schema. Load schrijft de data naar het datawarehouse. De transformatie vindt plaats vóór het laden, op een aparte verwerkingsserver. Het datawarehouse ontvangt schone, gestructureerde data.

ETL-tools zijn geëvolueerd. De eerste ETL-processen werden handmatig gecodeerd in SQL en scripts. Commerciële tools zoals Informatica en DataStage voegden grafische interfaces en planningsmogelijkheden toe. Open-source opties zoals Apache NiFi en Talend vergrootten de toegankelijkheid. Het patroon blijft hetzelfde: extraheren, transformeren, laden. ETL is nog steeds de juiste keuze wanneer het doelsysteem de transformatieworkloads niet aankan, wanneer datavolumes moeten worden gereduceerd vóór het laden, of wanneer wettelijke vereisten eisen dat gevoelige data worden getransformeerd voordat ze een gecontroleerde omgeving verlaten. Het is ook gebruikelijk in legacy-omgevingen waar het datawarehouse een traditioneel apparaat is met beperkte rekenkracht. De opkomst van cloudwarehouses en ELT heeft de dominantie van ETL verminderd, maar niet volledig weggenomen. Veel organisaties gebruiken beide. ETL voor legacy-systemen en gevoelige data. ELT voor cloud-native pipelines. Het patroon is niet achterhaald. Het is slechts één van de vele opties.

ETL-kenmerken

• Eerst transformeren — gegevens worden opgeschoond voordat ze worden geladen.
• Gescheiden verwerking — transformatie op een aparte server.
• Verminderd volume — alleen de benodigde gegevens bereiken het magazijn.
• Gevestigd — decennia aan ervaring met tools en werkwijzen
• Geschikt voor bestaande systemen — werkt met traditionele magazijnen

ETL is het klassieke patroon. Het werkt nog steeds. Het is niet altijd de beste keuze, maar het is zelden fout.