A modellek tanulnak az adatokból, az adatok pedig történeti adatokat hordoznak. Ha egy felvételi rendszert évtizedeknyi, egy adott csoportot előnyben részesítő döntésre tanítunk, a rendszer reprodukálja ezt a mintát, gyakran nagyobb magabiztossággal és kevesebb láthatósággal, mint egy ember tenné. Ez algoritmikus torzítás.

A források változatosak. Az alulreprezentált csoportok a betanítási adatokban rosszabb előrejelzéseket kapnak. A proxy változók, mint például az irányítószám, helyettesíthetik a rasszt vagy az osztályt. Az általános pontosságra optimalizáló objektív függvények ronthatják a teljesítményt a kisebbségek esetében.

Gyakori megnyilvánulások

• Az arcfelismerési hibaarányok bőrtónus szerint eltérőek
• A hitelminősítés bizonyos környékeket büntet
• Az ajánlórendszerek felerősítik a sztereotípiákat
• Nem reprezentatív populációkban képzett orvosi modellek

A javítások az adathalmazok újrakiegyensúlyozásától a betanítás során alkalmazott méltányossági korlátozásokon át az utólagos auditokig terjednek. Egyik sem teljes, és a méltányosság definíciói matematikailag ellentmondásosak lehetnek. A használandó definíció kiválasztása politikai, nem pedig technikai döntés.