資料轉換是將資料從一種格式或結構轉換為另一種格式或結構。例如，一個系統中儲存為 03/14/2024 的日期在另一個系統中會變成 2024-03-14。分散在兩個欄位中的客戶名稱會被合併成一個欄位。貨幣值會從歐元轉換為美元。數據本身並沒有改變，只是表示形式改變了。如果沒有資料轉換，系統之間就無法通訊。

轉換涵蓋多種操作。資料清理用於修復錯誤並標準化格式。資料增強用於添加派生字段，例如根據出生日期計算年齡。聚合用於將明細行匯總為總計。連線用於合併來自多個資料來源的資料。編碼用於將分類值轉換為數字，以便進行機器學習。每項操作都會以定義的方式變更資料。這些規則應該記錄在案並進行版本控制。未記錄的轉換就像一個黑盒子。當輸出看起來錯誤時，沒有人知道原因。轉換還需要測試。如果連線操作刪除了不符合的行，就會悄無聲息地遺失資料。如果日期解析器假定了錯誤的格式，則會損壞所有記錄。微小的轉換錯誤會在數百萬行資料中累積。輸出看起來合理，但實際上是錯誤的。這些都是最難發現的錯誤。

常見變換

• 清理工作－規範格式並修復錯誤
• 豐富數據－新增衍生數據或外部數據
• 匯總－將詳細資訊匯總成總數
• 合併－將來自多個資料來源的資料合併在一起
• 編碼－將類別轉換為數值

資料轉換是資料發揮作用的關鍵所在，也是隱形錯誤滋生的溫床。務必測試規則並做好記錄。