Für das Training wird eine Bewertung benötigt. Die Verlustfunktion misst, wie fehlerhaft die Vorhersagen eines Modells sind, und gibt dem Optimierer somit einen Zielwert vor, den er minimieren kann. Kreuzentropie wird für die Klassifizierung verwendet, der mittlere quadratische Fehler für die Regression. Für spezielle Aufgaben können benutzerdefinierte Verlustfunktionen eingesetzt werden.

Die Wahl des Modells prägt das Verhalten. Ein mit Kreuzentropie trainiertes Modell lernt kalibrierte Wahrscheinlichkeiten. Ein mit Hinge-Loss trainiertes Modell lernt eine Marge. Zwei Modelle mit identischer Architektur und identischen Daten können sich sehr unterschiedlich verhalten, je nachdem, was sie minimieren sollen.

Gemeinsame Verlustfunktionen

• Mittlerer quadratischer Fehler für die Regression
• Kreuzentropie für die Klassifizierung
• Hinge-Verlust für marginalbasierte Klassifikatoren
• Kontrastiver Verlust für Einbettungen
• Triplet-Verlust für Ähnlichkeitslernen

Unausgewogene Daten erschweren die Verlustberechnung. Ein auf Kreuzentropie trainierter Klassifikator bevorzugt die Mehrheitsklasse, sofern die Gewichtungen nicht angepasst werden. Focal Loss und Klassengewichtung beheben dieses Problem, erfordern jedoch zusätzlichen Optimierungsaufwand.