Egy olyan modell, amely magyarázat nélkül elutasít egy kölcsönt, nehezen bízható meg, és nehezebben megkérdőjelezhető. A megmagyarázható mesterséges intelligencia olyan módszereket fejleszt, amelyek a modell döntéseit érthetővé teszik az emberek számára, akár egyszerűbb helyettesítő modellek, jellemző-attribútumok vagy vizuális magyarázatok révén.

A megközelítések két táborra oszlanak. A lokális módszerek az egyedi predikciókat magyarázzák, mint például a SHAP-értékek vagy a LIME. A globális módszerek a modell általános viselkedését írják le, mint például a jellemzők fontossági rangsorolása vagy az összetett modellekből kinyert döntési szabályok.

Gyakori technikák

• SHAP értékek a jellemzők hozzárendeléséhez
• LIME helyi helyettesítő modellekhez
• Jelentékességi térképek képmodellekhez
• Figyelemvizualizáció szöveghez
• Kontrafaktuális magyarázatok

A magyarázatok félrevezetőek lehetnek. Egy kiemelési térkép kiemelheti azokat a pixeleket, amelyek korrelálnak egy predikcióval anélkül, hogy felfedné a modell tényleges érvelését. A szabályozók egyre inkább megkövetelik a magyarázhatóságot a nagy téttel bíró területeken, de a területen nincs egyetemes szabvány arra vonatkozóan, hogy mi számít jó magyarázatnak.