Модель, которая отказывает в кредите без объяснения причин, вряд ли заслуживает доверия, и еще сложнее ее оспорить. Объяснимый ИИ разрабатывает методы, которые делают решения модели понятными для человека, будь то с помощью более простых суррогатных моделей, присвоения признаков или визуальных объяснений.

Подходы делятся на два лагеря. Локальные методы объясняют отдельные прогнозы, такие как значения SHAP или LIME. Глобальные методы описывают общее поведение модели, например, ранжирование важности признаков или правила принятия решений, извлеченные из сложных моделей.

Распространенные методы

• Значения SHAP для атрибуции признаков
• LIME для локальных моделей-заменителей
• Карты значимости для моделей изображений
• Визуализация внимания для текста
• Контрфактические объяснения

Объяснения могут вводить в заблуждение. Карта значимости может выделять пиксели, коррелирующие с прогнозом, не раскрывая при этом истинную логику модели. Регуляторы все чаще требуют объяснимости в областях с высокими ставками, но в этой сфере нет универсального стандарта для того, что считается хорошим объяснением.