如果一個模型在沒有任何解釋的情況下拒絕貸款，那麼它就難以讓人信任，也更難被質疑。可解釋人工智慧發展出一些方法，使模型的決策能夠被人類理解，例如透過更簡單的替代模型、特徵歸因或視覺化解釋。

研究方法可分為兩大類。局部方法解釋單一預測結果，例如 SHAP 值或 LIME 值。全局方法描述模型的整體行為，例如特徵重要性排序或從複雜模型中提取的決策規則。

常用技巧

• 特徵歸因的 SHAP 值
• LIME 用於局部代理模型
• 影像模型的顯著性圖
• 文本注意力視覺化
• 反事實解釋

解釋可能會誤導人。顯著性圖可能突出顯示與預測相關的像素，但卻無法揭示模型的實際推理過程。監管機構越來越要求在高風險領域提供可解釋性，但該領域對於何為好的解釋尚無統一標準。