Modelle lernen aus Daten, und Daten tragen Geschichte in sich. Trainiert man ein Einstellungssystem mit jahrzehntelangen Entscheidungen, die eine bestimmte Gruppe bevorzugten, reproduziert das System dieses Muster – oft mit größerer Sicherheit und weniger Transparenz als ein Mensch. Das ist algorithmische Verzerrung.

Die Datenquellen sind vielfältig. Unterrepräsentierte Gruppen in den Trainingsdaten erhalten schlechtere Vorhersagen. Stellvertretervariablen wie die Postleitzahl können für ethnische Zugehörigkeit oder soziale Schicht stehen. Zielfunktionen, die die Gesamtgenauigkeit optimieren, können die Leistung bei Minderheiten beeinträchtigen.

Häufige Erscheinungsformen

• Die Fehlerraten der Gesichtserkennung variieren je nach Hautton
• Kreditwürdigkeitsbewertung benachteiligt bestimmte Stadtteile
• Empfehlungssysteme verstärken Stereotypen
• Medizinische Modelle, die an nicht repräsentativen Populationen trainiert wurden

Die Lösungsansätze reichen von der Neuausrichtung von Datensätzen über Fairness-Kriterien während des Trainings bis hin zu nachträglichen Prüfungen. Keiner dieser Ansätze ist vollständig, und Definitionen von Fairness können mathematisch widersprüchlich sein. Die Wahl der Definition ist eine politische, keine technische Entscheidung.