Seorang data engineer membangun dan memelihara infrastruktur yang memindahkan dan menyimpan data. Mereka menulis pipeline, mengelola basis data, dan memastikan bahwa data sampai ke tempat yang dibutuhkan, tepat waktu dan dalam kondisi yang dapat digunakan. Data scientist dan analis menggunakan apa yang dihasilkan oleh para engineer. Jika pipeline rusak, pekerjaan mereka pun terhenti.

Peran ini telah berkembang seiring dengan meningkatnya volume data. Para insinyur data awal mengelola basis data relasional dan skrip ETL. Para insinyur data modern bekerja dengan platform cloud, kerangka kerja pemrosesan terdistribusi, dan sistem streaming. Mereka menulis kode dalam Python, Scala, atau Java. Mereka memahami SQL secara mendalam. Mereka tahu cara mendesain skema, mempartisi tabel, dan mengoptimalkan kueri. Mereka juga menangani operasi: pemantauan, peringatan, dan pemulihan ketika terjadi kegagalan pada pukul 3 pagi. Pekerjaan ini sebagian rekayasa perangkat lunak, sebagian administrasi basis data, dan sebagian pekerjaan teknis. Pekerjaan ini tidak glamor. Namun, ini sangat penting. Seorang ilmuwan data yang menghabiskan separuh waktunya untuk memperbaiki pipeline yang rusak bukanlah ilmuwan data sejati. Seorang insinyur data yang baik akan menghilangkan masalah tersebut. Pipeline berjalan lancar. Data bersih. Para analis dan ilmuwan dapat fokus pada pekerjaan mereka yang sebenarnya.

Tanggung jawab insinyur data

• Membangun pipeline — mengekstrak, mengubah, memuat data
• Kelola penyimpanan — basis data, data lake, gudang data
• Memastikan keandalan — pemantauan, peringatan, pemulihan
• Optimalkan kinerja — penyetelan kueri, partisi
• Mendukung pengguna — analis, ilmuwan, aplikasi.

Para insinyur data membangun jalan. Semua orang lain yang melewatinya. Ketika jalannya bagus, tidak ada yang menyadarinya.