Modeller verilerden öğrenir ve veriler geçmişi taşır. Bir işe alım sistemini, on yıllarca bir grubu kayıran kararlar üzerine eğittiğinizde, sistem bu modeli çoğu zaman bir insandan daha fazla güvenle ve daha az şeffaflıkla yeniden üretir. İşte bu algoritmik önyargıdır.

Kaynaklar çeşitlidir. Eğitim verilerinde yeterince temsil edilmeyen grupların tahminleri daha kötü olur. Posta kodu gibi vekil değişkenler ırk veya sınıfın yerine geçebilir. Genel doğruluğu optimize eden objektif fonksiyonlar, azınlıklar üzerindeki performansı olumsuz etkileyebilir.

Yaygın belirtiler

• Cilt tonuna göre farklılık gösteren yüz tanıma hata oranları
• Kredi puanlama sisteminin bazı mahalleleri cezalandırması
• Öneri sistemleri kalıplaşmış yargıları güçlendiriyor.
• Temsilci olmayan popülasyonlar üzerinde eğitilmiş tıbbi modeller

Çözümler, veri kümelerinin yeniden dengelenmesinden, eğitim sırasında adalet kısıtlamalarına ve sonradan yapılan denetimlere kadar uzanmaktadır. Hiçbiri eksiksiz değildir ve adalet tanımları matematiksel olarak çelişebilir. Hangi tanımın kullanılacağı teknik bir karar değil, politika kararıdır.