Một mô hình từ chối cho vay mà không giải thích thì khó có thể tin tưởng và càng khó hơn để phản bác. Trí tuệ nhân tạo có thể giải thích (Explainable AI) phát triển các phương pháp giúp con người hiểu được quyết định của mô hình, thông qua các mô hình thay thế đơn giản hơn, gán thuộc tính hoặc giải thích trực quan.

Các phương pháp được chia thành hai nhóm. Phương pháp cục bộ giải thích các dự đoán riêng lẻ, chẳng hạn như giá trị SHAP hoặc LIME. Phương pháp toàn cục mô tả hành vi tổng thể của mô hình, chẳng hạn như xếp hạng tầm quan trọng của các đặc trưng hoặc các quy tắc quyết định được trích xuất từ ​​các mô hình phức tạp.

Các kỹ thuật thông thường

• Giá trị SHAP cho việc gán thuộc tính đặc trưng
• LIME dành cho các mô hình thay thế cục bộ
• Bản đồ độ nổi bật cho các mô hình hình ảnh
• Hình ảnh trực quan về sự chú ý cho văn bản
• Giải thích phản thực tế

Các lời giải thích có thể gây hiểu lầm. Bản đồ nổi bật có thể làm nổi bật các pixel tương quan với dự đoán mà không tiết lộ lý luận thực sự của mô hình. Các cơ quan quản lý ngày càng yêu cầu tính giải thích trong các lĩnh vực có tính rủi ro cao, nhưng lĩnh vực này lại không có tiêu chuẩn chung nào cho những gì được coi là một lời giải thích tốt.