Komplexe Modelle neigen zum Auswendiglernen. Regularisierung bestraft Komplexität und drängt das Modell zu einfacheren Lösungen, die besser generalisieren. Sie ist eines der zuverlässigsten Mittel gegen Überanpassung.

Die L2-Regularisierung führt eine Strafe proportional zum Quadrat der Gewichte ein und verringert diese gegen null. Die L1-Regularisierung fördert die Sparsität durch die Bestrafung absoluter Werte. Dropout deaktiviert während des Trainings zufällig Neuronen und zwingt das Netzwerk so zu Robustheit. Early Stopping beendet das Training, sobald sich der Validierungsverlust nicht mehr verbessert.

Gängige Regularisierungsmethoden

• Gewichtszulagen L1 und L2
• Ausfallen
• Vorzeitiger Stopp
• Datenanreicherung
• Batch-Normalisierung

Zu starke Regularisierung führt zu Unteranpassung. Das Modell wird zu einfach, um reale Muster zu erfassen. Die richtige Stärke der Regularisierung zu finden, ist eine wichtige Aufgabe, und Kreuzvalidierung hilft dabei in der Regel.