Un modelo que deniega un préstamo sin explicación es difícil de confiar y aún más difícil de cuestionar. La IA explicable desarrolla métodos que hacen que las decisiones del modelo sean comprensibles para los humanos, ya sea mediante modelos sustitutos más simples, atribuciones de características o explicaciones visuales.

Los enfoques se dividen en dos categorías. Los métodos locales explican predicciones individuales, como los valores SHAP o LIME. Los métodos globales describen el comportamiento general del modelo, como las clasificaciones de importancia de las características o las reglas de decisión extraídas de modelos complejos.

Técnicas comunes

• Valores SHAP para la atribución de características
• LIMA para modelos sustitutos locales
• Mapas de prominencia para modelos de imágenes
• Visualización de la atención para texto
• Explicaciones contrafactuales

Las explicaciones pueden inducir a error. Un mapa de relevancia puede resaltar píxeles que se correlacionan con una predicción sin revelar el razonamiento real del modelo. Los reguladores exigen cada vez más explicabilidad en ámbitos de alto riesgo, pero el sector carece de un estándar universal sobre lo que constituye una buena explicación.