数据清洗旨在查找并修复数据中的错误，例如重复值、缺失值、格式不一致、拼写错误和异常值。它是数据工作中最枯燥乏味的部分，而且往往是最耗时的。分析师表示，他们 60% 到 80% 的时间都花在了数据清洗上，其余时间才用于分析。数据清洗并非可有可无。不干净的数据会导致错误的结论。基于错误数据训练的模型会做出错误的预测。基于重复数据生成的报告会夸大总数。

这项工作需要条理清晰。首先要分析数据，了解其结构和问题。然后标准化数据格式：日期、电话号码、地址等。处理缺失值时，可以通过删除记录、填充值或标记待审核的方式进行。当无法进行精确匹配时，使用模糊匹配进行去重。根据已知约束条件进行验证。记录每一次转换，确保流程可复现。自动化工具虽然有所帮助，但不能取代人工判断。例如，一个会删除所有异常值的清理脚本可能会误删一些合理的边缘案例。去重算法可能会将两个同名客户合并。数据清理需要理解数据的上下文，而不仅仅是其结构。目标不是获得完美无缺的数据，而是获得符合其用途的数据。不同的分析方法对数据混乱程度的容忍度也不同。

常见数据清理任务

• 去重——删除或合并重复记录
• 标准化——日期、姓名、地址的统一格式
• 缺失值处理——插补、删除或标记
• 异常值检测——识别和调查异常情况
• 验证——对照业务规则和约束进行检查

数据清洗是进行有效分析的必要条件。忽略这一步，分析就毫无价值。做好数据清洗，其余工作都会变得轻松许多。