Um modelo que nega um empréstimo sem explicação é difícil de confiar e ainda mais difícil de contestar. A IA explicável desenvolve métodos que tornam as decisões do modelo compreensíveis para os humanos, seja através de modelos substitutos mais simples, atribuições de características ou explicações visuais.

As abordagens dividem-se em duas categorias. Os métodos locais explicam as previsões individuais, como os valores SHAP ou LIME. Os métodos globais descrevem o comportamento global do modelo, como a classificação da importância das variáveis ​​ou as regras de decisão extraídas de modelos complexos.

Técnicas comuns

• Valores SHAP para atribuição de características
• LIME para modelos substitutos locais
• Mapas de saliência para modelos de imagem
• Visualização da atenção para texto
• Explicações contrafactuais

As explicações podem induzir a erros. Um mapa de saliência pode destacar pixéis que se correlacionam com uma previsão sem revelar o raciocínio real do modelo. Os organismos reguladores exigem cada vez mais explicabilidade em áreas de grande importância, mas o campo não possui um padrão universal para o que constitui uma boa explicação.