En datapipeline flytter data fra kilde til destination gennem en række trin. Udtræk fra kilden. Transformer dem, så de passer til målet. Indlæs dem i lageret. Gør dem derefter tilgængelige til analyse. Pipelinen kører automatisk, efter en tidsplan eller som reaktion på hændelser. Den håndterer rørsystemet, så analytikere og dataloger kan fokusere på at bruge dataene i stedet for at flytte dem.

Pipelines spænder fra simple til komplekse. Et natligt job, der kopierer en CSV-fil, er en pipeline. Et streamingsystem, der behandler millioner af hændelser i sekundet, er også en pipeline. Værktøjerne varierer: Airflow, Dagster, Prefect til orkestrering. Kafka, Kinesis og Pub/Sub til streaming. dbt til transformation. Udfordringerne er ensartede. Kilder ændres uden varsel. Data ankommer sent eller er misdannede. Job fejler klokken 2 om natten, og ingen bemærker det, før morgenrapporten er tom. Gode pipelines har overvågning, alarmering, gentagelseslogik og idempotente trin, der kan køre to gange uden at duplikere data. De er dokumenteret, så alle kan forstå, hvad de gør. De testes, så ændringer ikke ødelægger downstream-systemer. En pipeline er infrastruktur. Ligesom enhver infrastruktur fungerer den bedst, når ingen behøver at tænke over den.

Rørledningsfaser

• Udtræk — træk data fra kilder
• Transformér – rens, berig og omform
• Indlæs — skriv til målsystemet
• Orkestrer — planlæg og koordiner trin
• Overvåg — opdag og advarer om fejl

En datapipeline er en forsyningskæde for data. Hvis den går i stykker, stopper alt downstream.