Un model care refuză un împrumut fără explicații este greu de crezut și mai greu de contestat. Inteligența artificială explicabilă dezvoltă metode care fac deciziile legate de model inteligibile pentru oameni, fie prin modele surogat mai simple, atribuiri de caracteristici sau explicații vizuale.

Abordările se împart în două categorii. Metodele locale explică predicțiile individuale, cum ar fi valorile SHAP sau LIME. Metodele globale descriu comportamentul general al modelului, cum ar fi clasamentele importanței caracteristicilor sau regulile de decizie extrase din modele complexe.

Tehnici comune

• Valori SHAP pentru atribuirea caracteristicilor
• LIME pentru modele surogat locale
• Hărți de saliență pentru modelele de imagine
• Vizualizarea atenției pentru text
• Explicații contrafactuale

Explicațiile pot induce în eroare. O hartă a salienței poate evidenția pixeli care se corelează cu o predicție fără a dezvălui raționamentul real al modelului. Autoritățile de reglementare solicită din ce în ce mai mult explicabilitate în domeniile cu miză mare, dar domeniul nu are un standard universal pentru ceea ce se consideră o explicație bună.