Veri mühendisi, verileri taşıyan ve depolayan altyapıyı kurar ve sürdürür. Veri işlem hatları yazar, veritabanlarını yönetir ve verilerin ihtiyaç duyulan yere, zamanında ve kullanılabilir biçimde ulaşmasını sağlar. Veri bilimciler ve analistler, mühendislerin ürettiği verileri kullanır. Veri işlem hattı bozulursa, çalışmaları durur.

Veri hacimleri arttıkça bu rol de büyüdü. İlk veri mühendisleri ilişkisel veritabanlarını ve ETL komut dosyalarını yönetiyordu. Modern veri mühendisleri ise bulut platformları, dağıtık işlem çerçeveleri ve akış sistemleriyle çalışıyor. Python, Scala veya Java dillerinde kod yazıyorlar. SQL'i derinlemesine anlıyorlar. Şemaları tasarlamayı, tabloları bölümlendirmeyi ve sorguları optimize etmeyi biliyorlar. Ayrıca operasyonları da yönetiyorlar: gece 3'te bir şey başarısız olduğunda izleme, uyarı ve kurtarma işlemleri. İşin bir kısmı yazılım mühendisliği, bir kısmı veritabanı yönetimi, bir kısmı da altyapı işi. Göz alıcı değil. Ama çok önemli. Zamanının yarısını bozuk işlem hatlarını düzeltmekle geçiren bir veri bilimci, veri bilimi yapmıyor demektir. İyi bir veri mühendisi bu sorunu ortadan kaldırır. İşlem hatları çalışır. Veriler temizdir. Analistler ve bilimciler asıl işlerine odaklanabilirler.

Veri mühendisinin sorumlulukları

• Veri işlem hatları oluşturma — veri ayıklama, dönüştürme, yükleme
• Veritabanları, veri gölleri, veri ambarları gibi depolama alanlarını yönetin.
• Güvenilirliği sağlayın — izleme, uyarı verme, kurtarma
• Performansı optimize etme — sorgu ayarlama, bölümleme
• Tüketicileri destekleyin — analistler, bilim insanları, uygulamalar

Veri mühendisleri yolları inşa eder. Diğer herkes o yollarda araç kullanır. Yollar iyi olduğunda kimse fark etmez.