En modell som avvisar ett lån utan förklaring är svår att lita på och svårare att ifrågasätta. Förklarbar AI utvecklar metoder som gör modellbeslut förståeliga för människor, oavsett om det är genom enklare surrogatmodeller, funktionsattributioner eller visuella förklaringar.

Metoderna delas in i två läger. Lokala metoder förklarar individuella förutsägelser, såsom SHAP-värden eller LIME. Globala metoder beskriver övergripande modellbeteende, såsom rangordning av funktioners betydelse eller beslutsregler som extraheras från komplexa modeller.

Vanliga tekniker

• SHAP-värden för funktionstillskrivning
• LIME för lokala surrogatmodeller
• Framträdandekartor för bildmodeller
• Uppmärksamhetsvisualisering för text
• Kontrafaktiska förklaringar

Förklaringar kan vara vilseledande. En framträdandekarta kan markera pixlar som korrelerar med en förutsägelse utan att avslöja modellens faktiska resonemang. Tillsynsmyndigheter kräver i allt högre grad förklarbarhet inom områden med hög insats, men området har ingen universell standard för vad som räknas som en bra förklaring.