資料工程師負責建置和維護資料傳輸和儲存的基礎設施。他們編寫資料管道，管理資料庫，並確保資料按時、以可用格式到達所需位置。資料科學家和分析師使用工程師產生的資料。如果資料管道發生故障，他們的工作也將停止。

隨著資料量的成長，資料工程師的角色也隨之擴展。早期的資料工程師管理關係型資料庫和 ETL 腳本。而現代的資料工程師則使用雲端平台、分散式處理框架和串流處理系統。他們使用 Python、Scala 或 Java 編寫程式碼，並且精通 SQL。他們知道如何設計模式、分區表和最佳化查詢。他們也負責維運工作：監控、告警以及在凌晨三點發生故障時進行復原。這份工作融合了軟體工程、資料庫管理和底層維護等多個面向。它並不光鮮亮麗，但卻至關重要。如果一個資料科學家一半的時間都花在修復故障的管道上，那他就不是在做資料科學。優秀的資料工程師能夠消除這些問題，確保管道運作順暢，資料乾淨整潔，讓分析師和科學家能夠專注於他們真正的工作。

資料工程師職責

• 建立資料管道－提取、轉換、載入數據
• 管理儲存空間－資料庫、資料湖、資料倉儲
• 確保可靠性－監控、警報、恢復
• 最佳化效能－查詢調優、分區
• 支持消費者——分析師、科學家、應用程式

資料工程師鋪設道路，其他人則行駛其上。當道路狀況良好時，沒有人會注意到資料工程師的存在。