Complexe modellen onthouden informatie. Regularisatie bestraft complexiteit, waardoor het model naar eenvoudigere oplossingen wordt gedreven die beter generaliseren. Het is een van de meest betrouwbare instrumenten tegen overfitting.

L2-regularisatie voegt een straf toe die evenredig is met het kwadraat van de gewichten, waardoor deze naar nul toe krimpen. L1 bevordert spaarzaamheid door absolute waarden te bestraffen. Dropout schakelt willekeurig neuronen uit tijdens de training, waardoor het netwerk robuuster wordt. Vroegtijdige stopzetting stopt de training wanneer het validatieverlies niet langer verbetert.

Veelgebruikte regularisatiemethoden

• Gewichtstraffen L1 en L2
• Uitvaller
• Vroegtijdig stoppen
• Gegevensaugmentatie
• Batchnormalisatie

Te veel regularisatie leidt tot underfitting. Het model wordt te simpel om echte patronen te herkennen. Het afstemmen van de sterkte is een belangrijk onderdeel van het vak, en kruisvalidatie helpt daarbij meestal.