数据质量衡量的是数据与其预期用途的契合程度。它包括准确性、完整性、一致性、及时性和有效性。劣质数据种类繁多，例如：缺失值、重复记录、日期格式错误、不存在的地址等等。每一种缺陷都会造成损失。例如，营销活动可能向无效地址发送邮件；财务报告可能由于重复数据而夸大收入；机器学习模型可能由于训练数据不完整而做出有偏差的预测。

数据质量并非一劳永逸，而是一种持续的实践。为每个数据集定义质量维度，定期进行测量，并设定可接受的质量阈值。当数据质量下降时，应立即进行调查。根本原因通常是流程问题，而非技术问题。未经验证的数据录入会导致错误。系统间缺乏统一的客户ID会导致数据重复。允许记录不完整的流程会造成数据缺失。改进流程可以预防错误。如果只修复数据而不改进流程，错误还会再次出现。数据质量工具可以帮助进行分析、清洗和监控，但它们并不能取代责任人。必须有人对每个数据集负责。如果没有这种责任人，数据质量就会下降。数据质量总是会下降的。

数据质量维度

• 准确性——数据反映现实
• 完整性——无缺失值
• 一致性——各系统间数据相同
• 时效性——数据是最新的
• 有效性——数据符合规则
• 独一无二——无重复

数据质量是每个人的责任。如果没人负责，数据质量就会失败。