Los modelos aprenden de los datos, y los datos contienen información histórica. Si se entrena un sistema de contratación con décadas de decisiones que favorecieron a un grupo, el sistema reproducirá ese patrón, a menudo con mayor seguridad y menor transparencia que un ser humano. Eso es sesgo algorítmico.

Las fuentes son variadas. Los grupos subrepresentados en los datos de entrenamiento obtienen peores predicciones. Variables indirectas como el código postal pueden sustituir a la raza o la clase social. Las funciones objetivo que optimizan la precisión general pueden sacrificar el rendimiento en las minorías.

Manifestaciones comunes

• Las tasas de error en el reconocimiento facial varían según el tono de piel.
• La calificación crediticia penaliza a ciertos barrios.
• Los sistemas de recomendación amplifican los estereotipos.
• Modelos médicos entrenados con poblaciones no representativas.

Las soluciones abarcan desde el reequilibrio de los conjuntos de datos hasta las restricciones de equidad durante el entrenamiento y las auditorías posteriores. Ninguna es completa, y las definiciones de equidad pueden ser matemáticamente contradictorias. Elegir qué definición utilizar es una decisión política, no técnica.