Een datapipeline verplaatst data van bron naar bestemming via een reeks stappen. Data wordt uit de bron gehaald, getransformeerd zodat deze geschikt is voor de bestemming, opgeslagen en vervolgens beschikbaar gemaakt voor analyse. De pipeline draait automatisch, volgens een schema of naar aanleiding van gebeurtenissen. Het transport van data verloopt soepel, zodat analisten en datawetenschappers zich kunnen concentreren op het gebruik van de data in plaats van op het verplaatsen ervan.

Pipelines variëren van eenvoudig tot complex. Een nachtelijke taak die een CSV-bestand kopieert, is een pipeline. Een streamingsysteem dat miljoenen gebeurtenissen per seconde verwerkt, is ook een pipeline. De tools variëren: Airflow, Dagster en Prefect voor orchestratie; Kafka, Kinesis en Pub/Sub voor streaming; dbt voor transformatie. De uitdagingen zijn constant. Bronnen veranderen zonder waarschuwing. Data komt te laat of onjuist binnen. Taken mislukken om 2 uur 's nachts en niemand merkt het totdat het ochtendrapport leeg is. Goede pipelines hebben monitoring, alerting, logica voor herhaling en idempotente stappen die twee keer kunnen worden uitgevoerd zonder data te dupliceren. Ze zijn gedocumenteerd zodat iedereen begrijpt wat ze doen. Ze worden getest zodat wijzigingen geen downstream-systemen verstoren. Een pipeline is infrastructuur. Net als elke infrastructuur werkt het het beste wanneer niemand erover hoeft na te denken.

Pijplijnfasen

• Extractie — gegevens ophalen uit bronnen
• Transformeer — reinig, verrijk en geef vorm
• Laden — schrijf naar het doelsysteem
• Orchestratie — het plannen en coördineren van de stappen
• Monitoren — storingen detecteren en er melding van maken

Een datapipeline is een toeleveringsketen voor data. Als die uitvalt, stopt alles wat erna komt.