Modeller lærer af data, og data bærer historie. Træn et ansættelsessystem på årtiers beslutninger, der favoriserede én gruppe, og systemet reproducerer dette mønster, ofte med mere sikkerhed og mindre synlighed end et menneske ville gøre. Det er algoritmisk bias.

Kilderne er varierede. Underrepræsenterede grupper i træningsdata får dårligere forudsigelser. Proxyvariabler som postnummer kan erstatte race eller klasse. Objektive funktioner, der optimerer for samlet nøjagtighed, kan gå på kompromis med ydeevnen for minoriteter.

Almindelige manifestationer

• Fejlrater for ansigtsgenkendelse varierer afhængigt af hudtone
• Kreditvurdering straffer visse nabolag
• Anbefalingssystemer, der forstærker stereotyper
• Medicinske modeller trænet på ikke-repræsentative populationer

Rettelserne spænder fra rebalancering af datasæt til begrænsninger af retfærdighed under træning til efterfølgende revisioner. Ingen af ​​dem er komplette, og definitionerne af retfærdighed kan være i matematisk konflikt. Valget af, hvilken definition der skal bruges, er en politisk beslutning, ikke en teknisk.