模型從資料中學習，而資料承載著歷史資訊。如果用幾十年來有利於某一特定群體的決策資料來訓練招募系統，那麼該系統就會複製這種模式，而且往往比人類更有把握，卻更難以察覺。這就是演算法偏見。

資料來源多種多樣。訓練資料中代表性不足的組別預測結果較差。郵遞區號等代理變數可以代表種族或階級。以整體準確率優化的目標函數可能會犧牲對少數族裔的預測表現。

常見表現

• 臉部辨識錯誤率因膚色而異
• 信用評分對某些社區造成不利影響
• 推薦系​​統強化刻板印象
• 基於非代表性人群訓練的醫學模型

解決方法包括重新平衡資料集、在訓練過程中施加公平性約束以及事後審計。但沒有一種方法是完美的，而且公平性的定義在數學上也可能有衝突。選擇使用哪種定義是一個策略性決定，而非技術性決定。