Modelele învață din date, iar datele sunt purtătoare ale istoriei. Antrenează un sistem de angajare pe baza a decenii de decizii care au favorizat un anumit grup, iar sistemul reproduce acel model, adesea cu mai multă încredere și mai puțină vizibilitate decât ar face-o un om. Aceasta este o prejudecată algoritmică.

Sursele sunt variate. Grupurile subreprezentate în datele de antrenament obțin predicții mai slabe. Variabilele proxy, cum ar fi codul poștal, pot înlocui rasa sau clasa socială. Funcțiile obiectiv care optimizează pentru acuratețea generală pot sacrifica performanța în cazul minorităților.

Manifestări comune

• Ratele de eroare ale recunoașterii faciale diferă în funcție de nuanța pielii
• Scorarea creditului penalizează anumite cartiere
• Sisteme de recomandare care amplifică stereotipurile
• Modele medicale antrenate pe populații nereprezentative

Corecțiile variază de la reechilibrarea seturilor de date la constrângeri de echitate în timpul instruirii și audituri post-hoc. Niciuna nu este completă, iar definițiile echității pot intra în conflict din punct de vedere matematic. Alegerea definiției care să fie utilizată este o decizie de politică, nu una tehnică.