يصعب الوثوق بنموذج يرفض منح قرض دون تفسير، ويصعب الطعن فيه. يطور الذكاء الاصطناعي القابل للتفسير أساليب تجعل قرارات النموذج مفهومة للبشر، سواء من خلال نماذج بديلة أبسط، أو إسناد السمات، أو التفسيرات المرئية.

تنقسم المناهج إلى معسكرين. تشرح الأساليب المحلية التنبؤات الفردية، مثل قيم SHAP أو LIME. أما الأساليب العالمية فتصف سلوك النموذج بشكل عام، مثل تصنيفات أهمية الميزات أو قواعد القرار المستخرجة من النماذج المعقدة.

التقنيات الشائعة

• قيم SHAP لنسبة الميزات
• LIME للنماذج البديلة المحلية
• خرائط بروز نماذج الصور
• تصور الانتباه للنص
• تفسيرات افتراضية

قد تكون التفسيرات مُضلِّلة. فمثلاً، قد تُبرز خريطة الأهمية وحدات البكسل التي تتوافق مع التنبؤ دون الكشف عن المنطق الحقيقي للنموذج. وتزداد متطلبات الجهات التنظيمية للتفسير في المجالات الحساسة، إلا أنه لا يوجد معيار عالمي في هذا المجال لما يُعتبر تفسيراً جيداً.