En model, der afviser et lån uden forklaring, er svær at stole på og sværere at udfordre. Forklarbar AI udvikler metoder, der gør modelbeslutninger forståelige for mennesker, hvad enten det er gennem enklere surrogatmodeller, funktionstilskrivninger eller visuelle forklaringer.

Tilgange er opdelt i to lejre. Lokale metoder forklarer individuelle forudsigelser, såsom SHAP-værdier eller LIME. Globale metoder beskriver den overordnede modeladfærd, såsom rangering af funktioners vigtighed eller beslutningsregler udvundet fra komplekse modeller.

Almindelige teknikker

• SHAP-værdier for funktionstilskrivning
• LIME til lokale surrogatmodeller
• Salienskort til billedmodeller
• Visualisering af opmærksomhed for tekst
• Kontrafaktiske forklaringer

Forklaringer kan være vildledende. Et salienskort kan fremhæve pixels, der korrelerer med en forudsigelse, uden at afsløre modellens faktiske ræsonnement. Regulatorer kræver i stigende grad forklarlighed i områder med høj indsats, men feltet har ingen universel standard for, hvad der tæller som en god forklaring.