Un modèle qui refuse un prêt sans explication est difficile à croire et encore plus difficile à contester. L'IA explicable développe des méthodes qui rendent les décisions des modèles compréhensibles par les humains, que ce soit par le biais de modèles de substitution simplifiés, d'attributions de caractéristiques ou d'explications visuelles.

Les approches se divisent en deux catégories. Les méthodes locales expliquent les prédictions individuelles, telles que les valeurs SHAP ou LIME. Les méthodes globales décrivent le comportement global du modèle, comme le classement de l'importance des caractéristiques ou les règles de décision extraites de modèles complexes.

Techniques courantes

• Valeurs SHAP pour l'attribution des caractéristiques
• Citron vert pour les modèles de substitution locaux
• Cartes de saillance pour les modèles d'images
• Visualisation de l'attention pour le texte
• Explications contrefactuelles

Les explications peuvent induire en erreur. Une carte de saillance peut mettre en évidence des pixels corrélés à une prédiction sans pour autant révéler le raisonnement réel du modèle. Les organismes de réglementation exigent de plus en plus d'explicabilité dans les domaines à forts enjeux, mais il n'existe pas de norme universelle définissant ce qui constitue une bonne explication.