Model, který bez vysvětlení odmítne půjčku, je těžké věřit a ještě těžší ho zpochybnit. Vysvětlitelná umělá inteligence vyvíjí metody, díky nimž jsou rozhodnutí modelu srozumitelná lidem, ať už prostřednictvím jednodušších náhradních modelů, přiřazení prvků nebo vizuálních vysvětlení.

Přístupy se dělí do dvou táborů. Lokální metody vysvětlují jednotlivé predikce, jako jsou hodnoty SHAP nebo LIME. Globální metody popisují celkové chování modelu, jako je pořadí důležitosti rysů nebo rozhodovací pravidla extrahovaná ze složitých modelů.

Běžné techniky

• Hodnoty SHAP pro atribuci prvků
• LIME pro místní náhradní modely
• Mapy významnosti pro obrazové modely
• Vizualizace pozornosti pro text
• Kontrafaktuální vysvětlení

Vysvětlení mohou být zavádějící. Mapa významnosti může zvýraznit pixely, které korelují s predikcí, aniž by odhalila skutečné zdůvodnění modelu. Regulační orgány stále více vyžadují vysvětlitelnost v oblastech s vysokými sázkami, ale v tomto oboru neexistuje univerzální standard pro to, co se považuje za dobré vysvětlení.