Модели учатся на данных, а данные хранят историю. Если обучить систему найма на основе решений, принятых за десятилетия в пользу одной группы, система воспроизведет эту закономерность, зачастую с большей уверенностью и меньшей наглядностью, чем это сделал бы человек. Это и есть алгоритмическая предвзятость.

Источники разнообразны. Недостаточно представленные группы в обучающих данных получают худшие прогнозы. В качестве косвенных переменных могут использоваться такие показатели, как почтовый индекс, для обозначения расы или социального класса. Целевые функции, оптимизирующие общую точность, могут снижать эффективность при работе с представителями меньшинств.

Общие проявления

• Частота ошибок распознавания лиц различается в зависимости от оттенка кожи.
• Система кредитного скоринга наказывает определенные районы.
• Системы рекомендаций, усиливающие стереотипы
• Медицинские модели, обученные на нерепрезентативных группах населения.

Исправления варьируются от перебалансировки наборов данных до ограничений справедливости во время обучения и последующих проверок. Ни одно из них не является полным, и определения справедливости могут математически противоречить друг другу. Выбор используемого определения — это политическое, а не техническое решение.