Komplekse modeller husker. Regularisering straffer kompleksitet og skubber modellen mod enklere løsninger, der generaliserer bedre. Det er et af de mest pålidelige værktøjer mod overfitting.

L2-regularisering tilføjer en straf proportional med kvadratet af vægte, hvilket krymper dem mod nul. L1 fremmer sparsity ved at straffe absolutte værdier. Dropout deaktiverer tilfældigt neuroner under træning, hvilket tvinger netværket til at være robust. Tidlig stop stopper træningen, når valideringstabet holder op med at forbedres.

Almindelige regulariseringsmetoder

• L1 og L2 vægtstraf
• Frafald
• Tidlig stop
• Dataforøgelse
• Batchnormalisering

For meget regularisering forårsager undertilpasning. Modellen bliver for simpel til at indfange reelle mønstre. Justering af styrken er en del af håndværket, og krydsvalidering styrer normalt valget.