Modelowi, który odmawia pożyczki bez wyjaśnienia, trudno zaufać i jeszcze trudniej go podważyć. Wyjaśnialna sztuczna inteligencja (Explorable AI) opracowuje metody, które sprawiają, że decyzje dotyczące modeli są zrozumiałe dla ludzi, czy to poprzez prostsze modele zastępcze, atrybucje cech, czy wyjaśnienia wizualne.

Podejścia dzielą się na dwa obozy. Metody lokalne wyjaśniają poszczególne prognozy, takie jak wartości SHAP czy LIME. Metody globalne opisują ogólne zachowanie modelu, takie jak rankingi ważności cech czy reguły decyzyjne wyodrębnione ze złożonych modeli.

Typowe techniki

• Wartości SHAP dla atrybucji cech
• LIME dla lokalnych modeli zastępczych
• Mapy saliencji dla modeli obrazowych
• Wizualizacja uwagi dla tekstu
• Wyjaśnienia kontrfaktyczne

Wyjaśnienia mogą wprowadzać w błąd. Mapa saliencji może uwypuklać piksele, które korelują z prognozą, nie ujawniając faktycznego uzasadnienia modelu. Organy regulacyjne coraz częściej wymagają wyjaśnialności w dziedzinach o wysokim ryzyku, ale w tej dziedzinie nie ma uniwersalnego standardu dobrego wyjaśnienia.