설명 없이 대출을 거부하는 모델은 신뢰하기 어렵고, 이의를 제기하기도 어렵습니다. 설명 가능한 AI는 더 간단한 대체 모델, 특징 속성 또는 시각적 설명 등을 통해 모델의 결정을 사람이 이해할 수 있도록 만드는 방법을 개발합니다.

접근 방식은 크게 두 가지 부류로 나뉩니다. 국소적 방법은 SHAP 값이나 LIME과 같이 개별 예측값을 설명합니다. 전역적 방법은 특징 중요도 순위나 복잡한 모델에서 추출한 의사결정 규칙과 같이 모델의 전반적인 동작을 설명합니다.

일반적인 기술

• 특징 속성 부여를 위한 SHAP 값
• 지역 대리 모델을 위한 LIME
• 이미지 모델을 위한 살리언시 맵
• 텍스트에 대한 주의 집중 시각화
• 반사실적 설명

설명은 오해를 불러일으킬 수 있습니다. 시각적 중요도 지도는 모델의 실제 추론 과정을 드러내지 않고도 예측과 상관관계가 있는 픽셀을 강조할 수 있습니다. 규제 당국은 중요 사안에서 설명 가능성을 점점 더 요구하고 있지만, 좋은 설명으로 간주되는 기준은 아직 확립되지 않았습니다.