モデルはデータから学習し、データには歴史が刻まれている。ある特定のグループを優遇してきた数十年にわたる決定に基づいて採用システムを訓練すれば、システムはそのパターンを再現する。しかも、多くの場合、人間よりも確信度が高く、可視性が低い。これがアルゴリズムによるバイアスである。

原因は多岐にわたる。訓練データにおいて少数派のグループは予測精度が低下する。郵便番号などの代理変数は、人種や階級の代わりとなる可能性がある。全体的な精度を最適化する目的関数は、少数派に対するパフォーマンスを犠牲にする可能性がある。

一般的な症状

• 肌の色によって顔認識のエラー率が異なる
• 信用スコアリングにおいて特定の地域が不利な扱いを受ける
• ステレオタイプを増幅させる推薦システム
• 代表性のない集団で訓練された医療モデル

対策としては、データセットの再調整から、トレーニング中の公平性制約、事後監査まで多岐にわたる。しかし、いずれも完全な解決策ではなく、公平性の定義は数学的に矛盾する可能性がある。どの定義を用いるかは、技術的な判断ではなく、政策的な判断である。