Bir veri hattı, verileri bir dizi adım aracılığıyla kaynaktan hedefe taşır. Kaynaktan veri çıkarılır. Hedefe uyacak şekilde dönüştürülür. Depolama alanına yüklenir. Ardından analiz için kullanılabilir hale getirilir. Hat, otomatik olarak, bir programa göre veya olaylara yanıt olarak çalışır. Analistlerin ve veri bilimcilerinin verileri taşımaya değil, kullanmaya odaklanabilmeleri için altyapıyı o halleder.

İşlem hatları basitten karmaşığa kadar çeşitlilik gösterir. Bir CSV dosyasını kopyalayan gecelik bir iş bir işlem hattıdır. Saniyede milyonlarca olayı işleyen bir akış sistemi de bir işlem hattıdır. Araçlar çeşitlilik gösterir: Orkestrasyon için Airflow, Dagster, Prefect; akış için Kafka, Kinesis ve Pub/Sub; dönüşüm için dbt. Zorluklar tutarlıdır. Kaynaklar uyarı vermeden değişir. Veriler geç veya hatalı biçimde gelir. İşler gece 2'de başarısız olur ve sabah raporu boş olana kadar kimse fark etmez. İyi işlem hatlarında izleme, uyarı, yeniden deneme mantığı ve verileri çoğaltmadan iki kez çalıştırılabilen idempotent adımlar bulunur. Herkesin ne yaptığını anlayabileceği şekilde belgelenirler. Değişikliklerin alt sistemleri bozmaması için test edilirler. Bir işlem hattı altyapıdır. Herhangi bir altyapı gibi, kimsenin düşünmesine gerek kalmadığında en iyi şekilde çalışır.

Boru hattı aşamaları

• Veri Çıkarma — kaynaklardan veri çekme
• Dönüştürün — temizleyin, zenginleştirin ve yeniden şekillendirin
• Yükle — hedef sisteme yaz
• Orkestrasyon — adımları planlamak ve koordine etmek
• İzleme — arızaları tespit et ve uyarı ver

Veri hattı, veri için bir tedarik zinciridir. Eğer bu hat bozulursa, aşağı yöndeki her şey durur.