Τα μοντέλα μαθαίνουν από δεδομένα και τα δεδομένα μεταφέρουν ιστορία. Εκπαιδεύστε ένα σύστημα προσλήψεων με βάση δεκαετίες αποφάσεων που ευνόησαν μια ομάδα και το σύστημα αναπαράγει αυτό το μοτίβο, συχνά με μεγαλύτερη αυτοπεποίθηση και λιγότερη ορατότητα από ό,τι θα έκανε ένας άνθρωπος. Αυτή είναι αλγοριθμική προκατάληψη.

Οι πηγές ποικίλλουν. Οι υποεκπροσωπούμενες ομάδες στα δεδομένα εκπαίδευσης έχουν χειρότερες προβλέψεις. Οι μεταβλητές μεσολάβησης, όπως ο ταχυδρομικός κώδικας, μπορούν να αντικαταστήσουν τη φυλή ή την τάξη. Οι αντικειμενικές συναρτήσεις που βελτιστοποιούν τη συνολική ακρίβεια ενδέχεται να θυσιάσουν την απόδοση σε μειονότητες.

Κοινές εκδηλώσεις

• Τα ποσοστά σφάλματος αναγνώρισης προσώπου διαφέρουν ανάλογα με τον τόνο του δέρματος
• Η αξιολόγηση πιστοληπτικής ικανότητας τιμωρεί ορισμένες γειτονιές
• Συστήματα συστάσεων που ενισχύουν τα στερεότυπα
• Ιατρικά μοντέλα που εκπαιδεύτηκαν σε μη αντιπροσωπευτικούς πληθυσμούς

Οι διορθώσεις κυμαίνονται από την αναπροσαρμογή των συνόλων δεδομένων έως τους περιορισμούς δικαιοσύνης κατά τη διάρκεια της εκπαίδευσης και τους εκ των υστέρων ελέγχους. Καμία δεν είναι πλήρης και οι ορισμοί της δικαιοσύνης ενδέχεται να έρχονται σε μαθηματική σύγκρουση. Η επιλογή του ορισμού που θα χρησιμοποιηθεί είναι μια απόφαση πολιτικής και όχι τεχνική.