تتعلم النماذج من البيانات، والبيانات تحمل في طياتها التاريخ. درّب نظام توظيف على عقود من القرارات التي فضّلت فئة معينة، وسيعيد النظام إنتاج هذا النمط، غالبًا بثقة أكبر وبوضوح أقل مما يفعله الإنسان. هذا هو التحيز الخوارزمي.

تتنوع المصادر. وتحصل الفئات المهمشة في بيانات التدريب على تنبؤات أسوأ. ويمكن استخدام متغيرات بديلة، مثل الرمز البريدي، للدلالة على العرق أو الطبقة الاجتماعية. وقد تؤدي دوال الهدف التي تُحسّن الدقة الإجمالية إلى التضحية بالأداء فيما يتعلق بالفئات المهمشة.

المظاهر الشائعة

• تختلف معدلات الخطأ في التعرف على الوجه باختلاف لون البشرة
• نظام تقييم الجدارة الائتمانية يعاقب بعض الأحياء
• أنظمة التوصية تضخم الصور النمطية
• النماذج الطبية المدربة على مجموعات سكانية غير ممثلة

تتراوح الحلول بين إعادة توازن مجموعات البيانات، وفرض قيود على العدالة أثناء التدريب، وإجراء عمليات تدقيق لاحقة. لا يوجد حل كامل، وقد تتعارض تعريفات العدالة رياضياً. اختيار التعريف المناسب هو قرار سياسي، وليس قراراً تقنياً.