Os modelos aprendem com os dados, e os dados transportam a história. Treine um sistema de recrutamento com base em décadas de decisões que favoreceram um grupo e o sistema reproduzirá esse padrão, muitas vezes com mais confiança e menos visibilidade do que um ser humano. Isto é viés algorítmico.

As fontes são variadas. Os grupos sub-representados nos dados de treino obtêm piores previsões. As variáveis ​​substitutas, como o código postal, podem representar raça ou classe social. As funções objetivo que otimizam a precisão global podem sacrificar o desempenho em relação às minorias.

Manifestações comuns

• As taxas de erro no reconhecimento facial variam de acordo com o tom de pele.
• Sistema de pontuação de crédito que penaliza determinados bairros
• Sistemas de recomendação que amplificam estereótipos
• Modelos médicos treinados em populações não representativas

As soluções variam desde o rebalanceamento de conjuntos de dados até restrições de equidade durante a formação e auditorias posteriores. Nenhuma está completa, e as definições de equidade podem entrar em conflito matemático. A escolha da definição a utilizar é uma decisão política, não técnica.