Modeller lærer av data, og data bærer med seg historie. Tren et ansettelsessystem på flere tiår med beslutninger som favoriserte én gruppe, og systemet reproduserer det mønsteret, ofte med mer selvtillit og mindre synlighet enn et menneske ville gjort. Det er algoritmisk skjevhet.

Kildene er varierte. Underrepresenterte grupper i treningsdata får dårligere prediksjoner. Proxyvariabler som postnummer kan erstatte rase eller klasse. Objektive funksjoner som optimaliserer for generell nøyaktighet kan ofre ytelsen for minoriteter.

Vanlige manifestasjoner

• Feilfrekvensen for ansiktsgjenkjenning varierer etter hudtone
• Kredittvurdering som straffer visse nabolag
• Anbefalingssystemer som forsterker stereotypier
• Medisinske modeller trent på ikke-representative populasjoner

Rettelsene spenner fra å balansere datasett til rettferdighetsbegrensninger under opplæring til etterfølgende revisjoner. Ingen av dem er fullstendige, og definisjoner av rettferdighet kan være i matematisk konflikt. Å velge hvilken definisjon som skal brukes er en politisk beslutning, ikke en teknisk.