資料清洗旨在尋找並修復資料中的錯誤，例如重複值、缺失值、格式不一致、拼字錯誤和異常值。它是資料工作中最枯燥乏味的部分，而且往往是最耗時的。分析師表示，他們 60% 到 80% 的時間都花在了資料清洗上，其餘時間才用於分析。資料清洗並非可有可無。不乾淨的數據會導致錯誤的結論。基於錯誤資料訓練的模型會做出錯誤的預測。基於重複資料產生的報告會誇大總數。

這項工作需要條理清晰。首先要分析數據，了解其結構和問題。然後標準化資料格式：日期、電話號碼、地址等。處理缺失值時，可以透過刪除記錄、填充值或標記待審核的方式進行。當無法進行精確匹配時，使用模糊匹配進行去重。根據已知約束條件進行驗證。記錄每一次轉換，確保流程可重現。自動化工具雖然有幫助，但不能取代人工判斷。例如，一個會刪除所有異常值的清理腳本可能會誤刪一些合理的邊緣案例。去重演算法可能會將兩個同名客戶合併。資料清理需要理解資料的上下文，而不僅僅是其結構。目標不是獲得完美無缺的數據，而是獲得符合其用途的數據。不同的分析方法對資料混亂程度的容忍度也不同。

常見資料清洗任務

• 去重－刪除或合併重複記錄
• 標準化－日期、姓名、地址的統一格式
• 缺失值處理－插補、刪除或標記
• 異常值檢測－識別和調查異常情況
• 驗證－對照業務規則和約束進行檢查

資料清洗是進行有效分析的必要條件。忽略這一步，分析就毫無價值。做好資料清洗，其餘工作都會變得輕鬆許多。