Les modèles apprennent à partir des données, et les données conservent une trace historique. Si l'on entraîne un système de recrutement sur des décennies de décisions ayant favorisé un groupe, le système reproduira ce schéma, souvent avec plus d'assurance et moins de discernement qu'un humain. C'est ce qu'on appelle un biais algorithmique.

Les sources sont variées. Les groupes sous-représentés dans les données d'entraînement obtiennent des prédictions moins précises. Des variables indirectes comme le code postal peuvent servir de substitut à l'origine ethnique ou à la classe sociale. Les fonctions objectives qui optimisent la précision globale peuvent nuire aux performances des minorités.

Manifestations courantes

• Les taux d'erreur de reconnaissance faciale varient selon le teint.
• Le système de notation de crédit pénalise certains quartiers
• Les systèmes de recommandation amplifient les stéréotypes
• Modèles médicaux entraînés sur des populations non représentatives

Les solutions proposées vont du rééquilibrage des jeux de données à l'intégration de contraintes d'équité lors de l'entraînement, en passant par des audits a posteriori. Aucune n'est parfaite, et les définitions de l'équité peuvent être mathématiquement contradictoires. Le choix de la définition à adopter relève d'une décision stratégique, et non technique.