Modele uczą się na podstawie danych, a dane niosą ze sobą historię. Wyszkol system rekrutacyjny na podstawie dekad decyzji, które faworyzowały jedną grupę, a system odtworzy ten schemat, często z większą pewnością i mniejszą przejrzystością niż zrobiłby to człowiek. To jest stronniczość algorytmiczna.

Źródła są zróżnicowane. Niedostatecznie reprezentowane grupy w danych szkoleniowych uzyskują gorsze prognozy. Zmienne zastępcze, takie jak kod pocztowy, mogą zastępować rasę lub klasę. Funkcje celu, które optymalizują ogólną dokładność, mogą negatywnie wpływać na wyniki w przypadku mniejszości.

Typowe objawy

• Różnice w częstości błędów rozpoznawania twarzy w zależności od odcienia skóry
• Ocena kredytowa karząca niektóre dzielnice
• Systemy rekomendacji wzmacniające stereotypy
• Modele medyczne trenowane na populacjach niereprezentatywnych

Zakres poprawek obejmuje rebalansowanie zbiorów danych, ograniczenia dotyczące uczciwości podczas szkolenia i audyty post hoc. Żadna z nich nie jest kompletna, a definicje uczciwości mogą być sprzeczne matematycznie. Wybór definicji jest decyzją polityczną, a nie techniczną.