O conductă de date mută datele de la sursă la destinație printr-o serie de pași. Extragerea datelor din sursă. Transformarea acestora pentru a se potrivi țintei. Încărcarea lor în spațiul de stocare. Apoi, punerea lor la dispoziție pentru analiză. Conducta rulează automat, conform unui program sau ca răspuns la evenimente. Se ocupă de instalații, astfel încât analiștii și oamenii de știință în domeniul datelor să se poată concentra pe utilizarea datelor, mai degrabă decât pe mutarea lor.

Conductele variază de la simple la complexe. Un job nocturn care copiază un fișier CSV este un pipeline. Un sistem de streaming care procesează milioane de evenimente pe secundă este, de asemenea, un pipeline. Instrumentele variază: Airflow, Dagster, Prefect pentru orchestrare. Kafka, Kinesis și Pub/Sub pentru streaming. dbt pentru transformare. Provocările sunt constante. Sursele se schimbă fără avertisment. Datele sosesc târziu sau incorect. Joburile eșuează la 2 dimineața și nimeni nu observă până când raportul de dimineață este gol. Conductele bune au monitorizare, alertă, logică de reîncercare și pași idempotenți care pot rula de două ori fără a duplica datele. Sunt documentate astfel încât oricine să poată înțelege ce fac. Sunt testate astfel încât modificările să nu perturbe sistemele din aval. Un pipeline este o infrastructură. Ca orice infrastructură, funcționează cel mai bine atunci când nimeni nu trebuie să se gândească la ea.

Etapele conductei

• Extragere — extragerea datelor din surse
• Transformă — curăță, îmbogățește și remodelează
• Încărcare — scriere pe sistemul țintă
• Orchestrați — programați și coordonați pașii
• Monitorizare — detectare și alertare privind defecțiunile

O conductă de date este un lanț de aprovizionare pentru date. Dacă se întrerupe, tot ce se află în aval se oprește.