Ένα μοντέλο που αρνείται ένα δάνειο χωρίς εξήγηση είναι δύσκολο να εμπιστευτεί κανείς και πιο δύσκολο να αμφισβητηθεί. Η Επεξηγήσιμη Τεχνητή Νοημοσύνη αναπτύσσει μεθόδους που καθιστούν τις αποφάσεις των μοντέλων κατανοητές στους ανθρώπους, είτε μέσω απλούστερων υποκατάστατων μοντέλων, αποδόσεων χαρακτηριστικών είτε οπτικών εξηγήσεων.

Οι προσεγγίσεις χωρίζονται σε δύο στρατόπεδα. Οι τοπικές μέθοδοι εξηγούν μεμονωμένες προβλέψεις, όπως οι τιμές SHAP ή το LIME. Οι καθολικές μέθοδοι περιγράφουν τη συνολική συμπεριφορά του μοντέλου, όπως οι κατατάξεις σπουδαιότητας των χαρακτηριστικών ή οι κανόνες απόφασης που εξάγονται από σύνθετα μοντέλα.

Κοινές τεχνικές

• Τιμές SHAP για την απόδοση χαρακτηριστικών
• LIME για τοπικά μοντέλα παρένθετων μητέρων
• Χάρτες προβολής για μοντέλα εικόνας
• Οπτικοποίηση προσοχής για κείμενο
• Αντιπαραδειγματικές εξηγήσεις

Οι εξηγήσεις μπορεί να παραπλανήσουν. Ένας χάρτης εξέχουσας σημασίας μπορεί να επισημάνει εικονοστοιχεία που συσχετίζονται με μια πρόβλεψη χωρίς να αποκαλύπτει την πραγματική συλλογιστική του μοντέλου. Οι ρυθμιστικές αρχές απαιτούν ολοένα και περισσότερο εξηγησιμότητα σε τομείς υψηλού διακυβεύματος, αλλά ο τομέας δεν έχει καθολικό πρότυπο για το τι θεωρείται καλή εξήγηση.