Ein Modell, das einen Kredit ohne Begründung ablehnt, ist schwer zu vertrauen und noch schwerer anzufechten. Erklärbare KI entwickelt Methoden, die Modellentscheidungen für Menschen verständlich machen, sei es durch einfachere Ersatzmodelle, Merkmalszuordnungen oder visuelle Erklärungen.

Die Ansätze lassen sich in zwei Kategorien einteilen. Lokale Methoden erklären einzelne Vorhersagen, wie beispielsweise SHAP-Werte oder LIME-Werte. Globale Methoden beschreiben das Gesamtverhalten des Modells, etwa Rangfolgen der Merkmalswichtigkeit oder Entscheidungsregeln, die aus komplexen Modellen abgeleitet werden.

Gängige Techniken

• SHAP-Werte für die Merkmalszuordnung
• LIME für lokale Ersatzmodelle
• Salienzkarten für Bildmodelle
• Aufmerksamkeitsvisualisierung für Text
• Kontrafaktische Erklärungen

Erklärungen können irreführend sein. Eine Saliency-Map kann Pixel hervorheben, die mit einer Vorhersage korrelieren, ohne die eigentliche Argumentation des Modells offenzulegen. Regulierungsbehörden fordern zunehmend Erklärbarkeit in sensiblen Bereichen, doch es gibt keinen allgemeingültigen Standard dafür, was als gute Erklärung gilt.