Model yang menolak pinjaman tanpa penjelasan sulit dipercaya dan lebih sulit lagi untuk ditentang. AI yang dapat dijelaskan mengembangkan metode yang membuat keputusan model dapat dipahami oleh manusia, baik melalui model pengganti yang lebih sederhana, atribusi fitur, atau penjelasan visual.

Pendekatan terbagi menjadi dua kubu. Metode lokal menjelaskan prediksi individual, seperti nilai SHAP atau LIME. Metode global menggambarkan perilaku model secara keseluruhan, seperti peringkat kepentingan fitur atau aturan keputusan yang diekstrak dari model yang kompleks.

Teknik umum

• Nilai SHAP untuk atribusi fitur
• LIME untuk model pengganti lokal
• Peta saliensi untuk model citra
• Visualisasi perhatian untuk teks
• Penjelasan kontrafaktual

Penjelasan dapat menyesatkan. Peta saliensi dapat menyoroti piksel yang berkorelasi dengan prediksi tanpa mengungkapkan alasan sebenarnya dari model tersebut. Regulator semakin menuntut kemampuan menjelaskan di bidang-bidang yang berisiko tinggi, tetapi bidang ini tidak memiliki standar universal tentang apa yang dianggap sebagai penjelasan yang baik.