En modell som avviser et lån uten forklaring er vanskelig å stole på og vanskeligere å utfordre. Forklarbar AI utvikler metoder som gjør modellbeslutninger forståelige for mennesker, enten gjennom enklere surrogatmodeller, funksjonsattribusjoner eller visuelle forklaringer.

Tilnærminger er delt inn i to leire. Lokale metoder forklarer individuelle prediksjoner, som SHAP-verdier eller LIME. Globale metoder beskriver generell modellatferd, som rangering av funksjonsviktighet eller beslutningsregler hentet fra komplekse modeller.

Vanlige teknikker

• SHAP-verdier for funksjonsattribusjon
• LIME for lokale surrogatmodeller
• Fremtredende kart for bildemodeller
• Oppmerksomhetsvisualisering for tekst
• Kontrafaktiske forklaringer

Forklaringer kan være misvisende. Et viktighetskart kan fremheve piksler som korrelerer med en prediksjon uten å avsløre modellens faktiske resonnement. Regulatorer krever i økende grad forklarbarhet i områder med høy innsats, men feltet har ingen universell standard for hva som teller som en god forklaring.