Các mô hình học hỏi từ dữ liệu, và dữ liệu mang theo lịch sử. Huấn luyện một hệ thống tuyển dụng dựa trên hàng thập kỷ các quyết định ưu tiên một nhóm nhất định, và hệ thống sẽ tái tạo lại mô hình đó, thường với độ tin cậy cao hơn và ít bị phát hiện hơn so với con người. Đó chính là thiên kiến ​​thuật toán.

Nguồn dữ liệu rất đa dạng. Các nhóm thiểu số trong dữ liệu huấn luyện thường nhận được dự đoán kém chính xác hơn. Các biến đại diện như mã bưu chính có thể thay thế cho chủng tộc hoặc tầng lớp xã hội. Các hàm mục tiêu tối ưu hóa độ chính xác tổng thể có thể hy sinh hiệu suất đối với các nhóm thiểu số.

Biểu hiện thường gặp

• Tỷ lệ lỗi nhận diện khuôn mặt khác nhau tùy thuộc vào màu da.
• Hệ thống chấm điểm tín dụng đang gây bất lợi cho một số khu dân cư nhất định.
• Hệ thống đề xuất khuếch đại định kiến
• Các mô hình y tế được đào tạo trên các quần thể không đại diện.

Các biện pháp khắc phục bao gồm từ việc cân bằng lại tập dữ liệu đến các ràng buộc về tính công bằng trong quá trình huấn luyện và kiểm toán sau khi thực hiện. Không có biện pháp nào là hoàn chỉnh, và các định nghĩa về tính công bằng có thể mâu thuẫn về mặt toán học. Việc lựa chọn định nghĩa nào để sử dụng là một quyết định về chính sách, chứ không phải là một quyết định kỹ thuật.