बिना स्पष्टीकरण के ऋण अस्वीकार करने वाले मॉडल पर भरोसा करना मुश्किल है और उसे चुनौती देना और भी कठिन है। व्याख्या योग्य एआई ऐसी विधियाँ विकसित करता है जो मॉडल के निर्णयों को मनुष्यों के लिए समझने योग्य बनाती हैं, चाहे वह सरल वैकल्पिक मॉडलों, विशेषता निर्धारण या दृश्य स्पष्टीकरणों के माध्यम से हो।

दृष्टिकोण दो श्रेणियों में विभाजित होते हैं। स्थानीय विधियाँ व्यक्तिगत भविष्यवाणियों की व्याख्या करती हैं, जैसे कि SHAP मान या LIME। वैश्विक विधियाँ समग्र मॉडल व्यवहार का वर्णन करती हैं, जैसे कि फीचर महत्व रैंकिंग या जटिल मॉडलों से निकाले गए निर्णय नियम।

सामान्य तकनीकें

• फ़ीचर एट्रिब्यूशन के लिए SHAP मान
• स्थानीय सरोगेट मॉडल के लिए LIME
• छवि मॉडल के लिए प्रमुखता मानचित्र
• पाठ के लिए ध्यान आकर्षित करने वाला दृश्य
• प्रतितथ्यात्मक स्पष्टीकरण

स्पष्टीकरण भ्रामक हो सकते हैं। एक सेलियेंसी मैप उन पिक्सेल को उजागर कर सकता है जो किसी भविष्यवाणी से संबंधित हैं, लेकिन मॉडल के वास्तविक तर्क को प्रकट नहीं करता है। नियामक उच्च जोखिम वाले क्षेत्रों में स्पष्टीकरण की मांग तेजी से कर रहे हैं, लेकिन इस क्षेत्र में इस बात का कोई सार्वभौमिक मानक नहीं है कि एक अच्छा स्पष्टीकरण किसे माना जाए।