説明なしに融資を拒否するモデルは、信頼しにくく、異議を申し立てるのも困難です。説明可能なAIは、よりシンプルな代替モデル、特徴量の帰属、視覚的な説明などを通じて、モデルの決定を人間が理解できるようにする手法を開発します。

アプローチは大きく2つに分けられる。ローカル手法は、SHAP値やLIMEなど、個々の予測結果を説明する。グローバル手法は、特徴量の重要度ランキングや複雑なモデルから抽出された決定ルールなど、モデル全体の挙動を説明する。

一般的なテクニック

• 特徴量の帰属に関するSHAP値
• ローカル代理モデルのためのLIME
• 画像モデルの顕著性マップ
• テキストに対する注意可視化
• 反事実的説明

説明は誤解を招く可能性がある。顕著性マップは、モデルの実際の推論を明らかにすることなく、予測と相関するピクセルを強調表示してしまうことがある。規制当局は、重大な影響を及ぼす分野において説明責任をますます強く求めているが、何が優れた説明とみなされるかについての普遍的な基準は存在しない。