Komplekse modeller memorerer. Regularisering straffer kompleksitet og presser modellen mot enklere løsninger som generaliserer bedre. Det er et av de mest pålitelige verktøyene mot overtilpasning.

L2-regularisering legger til en straff proporsjonal med kvadratet av vektene, og krymper dem mot null. L1 oppmuntrer til sparsitet ved å straffe absolutte verdier. Frafall deaktiverer tilfeldig nevroner under trening, noe som tvinger nettverket til å være robust. Tidlig stopp stopper treningen når valideringstapet slutter å forbedres.

Vanlige regulariseringsmetoder

• Vektstraffer på L1 og L2
• Frafall
• Tidlig stopp
• Datautvidelse
• Batch-normalisering

For mye regularisering fører til undertilpasning. Modellen blir for enkel til å fange opp virkelige mønstre. Justering av styrken er en del av håndverket, og kryssvalidering styrer vanligvis valget.