Een model dat een lening zonder uitleg afwijst, is moeilijk te vertrouwen en nog moeilijker aan te vechten. Explainable AI ontwikkelt methoden die modelbeslissingen begrijpelijk maken voor mensen, bijvoorbeeld door middel van eenvoudigere surrogaatmodellen, kenmerktoewijzingen of visuele uitleg.

De benaderingen vallen uiteen in twee kampen. Lokale methoden verklaren individuele voorspellingen, zoals SHAP-waarden of LIME. Globale methoden beschrijven het algemene gedrag van het model, zoals rangschikkingen van het belang van kenmerken of beslissingsregels die zijn afgeleid van complexe modellen.

Gangbare technieken

• SHAP-waarden voor kenmerktoewijzing
• LIME voor lokale surrogaatmodellen
• Saillantiekaarten voor beeldmodellen
• Aandachtsvisualisatie voor tekst
• Contrafeitelijke verklaringen

Verklaringen kunnen misleidend zijn. Een saillantiekaart kan pixels markeren die correleren met een voorspelling, zonder de werkelijke redenering van het model te onthullen. Regelgevers eisen steeds vaker verklaarbaarheid in domeinen met hoge inzet, maar er bestaat geen universele standaard voor wat een goede verklaring is.