Modeller lär sig av data, och data bär på historia. Träna ett rekryteringssystem på årtionden av beslut som gynnat en grupp, och systemet reproducerar det mönstret, ofta med större säkerhet och mindre synlighet än en människa skulle göra. Det är algoritmisk bias.

Källorna varierar. Underrepresenterade grupper i träningsdata får sämre förutsägelser. Proxyvariabler som postnummer kan ersätta ras eller klass. Objektiva funktioner som optimerar för övergripande noggrannhet kan offra prestanda för minoriteter.

Vanliga manifestationer

• Felfrekvensen för ansiktsigenkänning varierar beroende på hudton
• Kreditpoängsättning som bestraffar vissa grannskap
• Rekommendationssystem som förstärker stereotyper
• Medicinska modeller tränade på icke-representativa populationer

Åtgärderna sträcker sig från ombalansering av datamängder till rättvisebegränsningar under utbildning till efterföljande revisioner. Ingen av dem är fullständig, och definitionerna av rättvisa kan komma i konflikt med varandra matematiskt. Att välja vilken definition som ska användas är ett policybeslut, inte ett tekniskt.