Datový kanál přesouvá data ze zdroje do cíle pomocí série kroků. Extrahuje je ze zdroje. Transformuje je tak, aby odpovídaly cíli. Načítá je do úložiště. Poté je zpřístupňuje pro analýzu. Datový kanál běží automaticky, podle plánu nebo v reakci na události. Zajišťuje kompletní proces, aby se analytici a datoví vědci mohli soustředit na jejich používání, nikoli na jejich přesun.

Pipeliny sahají od jednoduchých po složité. Noční úloha, která kopíruje soubor CSV, je pipelinou. Streamovací systém, který zpracovává miliony událostí za sekundu, je také pipelinou. Nástroje se liší: Airflow, Dagster, Prefect pro orchestraci. Kafka, Kinesis a Pub/Sub pro streamování. dbt pro transformaci. Výzvy jsou konzistentní. Zdroje se mění bez varování. Data přicházejí pozdě nebo jsou chybně formátována. Úlohy selhávají ve 2 hodiny ráno a nikdo si toho nevšimne, dokud není ranní report prázdný. Dobré pipeliny mají monitorovací, upozorňovací, opakovací logiku a idempotentní kroky, které lze spustit dvakrát bez duplikace dat. Jsou zdokumentovány, aby kdokoli pochopil, co dělají. Jsou testovány, aby změny nenarušily navazující systémy. Pipelinou je infrastruktura. Stejně jako každá infrastruktura funguje nejlépe, když o ní nikdo nemusí přemýšlet.

Fáze potrubí

• Extrahovat — načíst data ze zdrojů
• Transformace – čištění, obohacení a změna tvaru
• Načíst — zapsat do cílového systému
• Orchestrovat – plánovat a koordinovat kroky
• Monitorování – detekce selhání a upozornění na ně

Datový kanál je dodavatelský řetězec pro data. Pokud se přeruší, zastaví se vše v následném toku.