每个模型都是对其所输入数据的压缩反映。训练数据就好比是这部分“饮食”：它是机器学习系统在被要求执行任何有用任务之前所学习的一系列示例。人脸识别模型可以从数百万张带标签的肖像中学习。国际象棋引擎可以从数百万局棋中学习。医学分类器可以从放射科医生标注的扫描图像中学习。

数据量固然重要，但构图更为关键。如果人物肖像以白人男性为主，那么模型在肤色较深的女性角色上的表现就会不佳。如果游戏数据仅来自业余玩家，引擎的性能就会停滞不前。研究人员将这种分布偏移称为分布偏移，这也是模型在实验室中表现出色但在实际应用中表现不佳的最常见原因之一。

实际问题

• 标签质量：噪声或有偏差的标注会损害模型。
• 同意和许可：网络抓取的数据可能存在法律风险
• 隐私：个人信息通常需要进行清理或匿名化处理。
• 代表性：稀有群体需要刻意进行过采样

数据清洗和整理通常会占用机器学习项目 60% 到 80% 的时间。架构设计固然引人注目，但数据集才是决定成败的关键。