Açıklama yapmadan kredi vermeyi reddeden bir modele güvenmek zordur ve itiraz etmek daha da zordur. Açıklanabilir Yapay Zeka, daha basit vekil modeller, özellik atıfları veya görsel açıklamalar yoluyla model kararlarını insanlar için anlaşılabilir hale getiren yöntemler geliştirir.

Yaklaşımlar iki ana gruba ayrılıyor. Yerel yöntemler, SHAP değerleri veya LIME gibi bireysel tahminleri açıklıyor. Küresel yöntemler ise, özellik önem sıralamaları veya karmaşık modellerden çıkarılan karar kuralları gibi genel model davranışını tanımlıyor.

Ortak teknikler

• Özellik ataması için SHAP değerleri
• Yerel vekil modeller için LIME
• Görüntü modelleri için belirginlik haritaları
• Metin için dikkat görselleştirmesi
• Karşıolgusal açıklamalar

Açıklamalar yanıltıcı olabilir. Bir önem haritası, modelin gerçek mantığını ortaya koymadan, bir tahminle ilişkili pikselleri vurgulayabilir. Düzenleyiciler, yüksek riskli alanlarda açıklanabilirliği giderek daha fazla talep ediyor, ancak alanın iyi bir açıklama olarak neyin sayılacağına dair evrensel bir standardı yok.