मॉडल डेटा से सीखते हैं, और डेटा में इतिहास समाहित होता है। दशकों से लिए गए उन निर्णयों के आधार पर भर्ती प्रणाली को प्रशिक्षित करें जिनमें किसी एक समूह को प्राथमिकता दी गई हो, तो प्रणाली उसी पैटर्न को दोहराती है, अक्सर किसी इंसान की तुलना में अधिक सटीकता और कम स्पष्टता के साथ। यही एल्गोरिथम पूर्वाग्रह है।

स्रोत विविध हैं। प्रशिक्षण डेटा में कम प्रतिनिधित्व वाले समूहों के पूर्वानुमान खराब होते हैं। पोस्टकोड जैसे प्रॉक्सी चर जाति या वर्ग का प्रतिनिधित्व कर सकते हैं। समग्र सटीकता को अनुकूलित करने वाले उद्देश्य फलन अल्पसंख्यकों के प्रदर्शन को प्रभावित कर सकते हैं।

सामान्य अभिव्यक्तियाँ

• त्वचा के रंग के अनुसार चेहरे की पहचान में त्रुटि दर भिन्न होती है
• क्रेडिट स्कोरिंग के कारण कुछ खास इलाकों को नुकसान हो रहा है
• सिफारिश प्रणालियाँ रूढ़ियों को बढ़ावा देती हैं
• गैर-प्रतिनिधि आबादी पर प्रशिक्षित चिकित्सा मॉडल

डेटासेट को पुनर्संतुलित करने से लेकर प्रशिक्षण के दौरान निष्पक्षता संबंधी प्रतिबंध लगाने और बाद में ऑडिट करने तक, कई तरह के समाधान उपलब्ध हैं। कोई भी समाधान पूर्ण नहीं है, और निष्पक्षता की परिभाषाएँ गणितीय रूप से परस्पर विरोधी हो सकती हैं। किस परिभाषा का उपयोग करना है, यह एक नीतिगत निर्णय है, तकनीकी नहीं।