Komplexa modeller memorerar. Regularisering bestraffar komplexitet och driver modellen mot enklare lösningar som generaliserar bättre. Det är ett av de mest pålitliga verktygen mot överanpassning.

L2-regularisering lägger till en straffeffekt proportionell mot kvadraten av vikterna, vilket krymper dem mot noll. L1 uppmuntrar gleshet genom att bestraffa absoluta värden. Bortfall inaktiverar slumpmässigt neuroner under träning, vilket tvingar nätverket att vara robust. Tidigt stopp avbryter träningen när valideringsförlusten slutar förbättras.

Vanliga regulariseringsmetoder

• L1 och L2 viktstraff
• Avhopp
• Tidig stopp
• Dataökning
• Batchnormalisering

För mycket regularisering orsakar underanpassning. Modellen blir för enkel för att fånga verkliga mönster. Att justera styrkan är en del av hantverket, och korsvalidering styr vanligtvis valet.