Model belajar dari data, dan data menyimpan sejarah. Latih sistem perekrutan berdasarkan keputusan selama beberapa dekade yang menguntungkan satu kelompok, dan sistem tersebut akan mereproduksi pola itu, seringkali dengan lebih percaya diri dan kurang terlihat daripada yang dilakukan manusia. Itulah bias algoritmik.

Sumber data bervariasi. Kelompok yang kurang terwakili dalam data pelatihan mendapatkan prediksi yang lebih buruk. Variabel proksi seperti kode pos dapat menggantikan ras atau kelas sosial. Fungsi objektif yang mengoptimalkan akurasi keseluruhan mungkin mengorbankan kinerja pada kelompok minoritas.

Manifestasi umum

• Tingkat kesalahan pengenalan wajah berbeda-beda berdasarkan warna kulit.
• Sistem penilaian kredit yang merugikan lingkungan tertentu
• Sistem rekomendasi memperkuat stereotip
• Model medis yang dilatih pada populasi yang tidak representatif

Perbaikan yang dilakukan beragam, mulai dari menyeimbangkan kembali kumpulan data hingga batasan keadilan selama pelatihan dan audit pasca-analisis. Tidak ada yang sempurna, dan definisi keadilan dapat saling bertentangan secara matematis. Memilih definisi mana yang akan digunakan adalah keputusan kebijakan, bukan keputusan teknis.