模型从数据中学习，而数据承载着历史信息。如果用几十年来有利于某一特定群体的决策数据来训练招聘系统，那么该系统就会复制这种模式，而且往往比人类更有把握，却更难以察觉。这就是算法偏见。

数据来源多种多样。训练数据中代表性不足的群体预测结果较差。邮政编码等代理变量可以代表种族或阶级。以整体准确率优化的目标函数可能会牺牲对少数族裔的预测性能。

常见表现

• 面部识别错误率因肤色而异
• 信用评分对某些社区造成不利影响
• 推荐系统加剧刻板印象
• 基于非代表性人群训练的医学模型

解决方法包括重新平衡数据集、在训练过程中施加公平性约束以及事后审计。但没有一种方法是完美的，而且公平性的定义在数学上也可能存在冲突。选择使用哪种定义是一个策略性决定，而非技术性决定。