Modelele complexe se memorează. Regularizarea penalizează complexitatea, împingând modelul către soluții mai simple care generalizează mai bine. Este unul dintre cele mai fiabile instrumente împotriva supraadaptării.

Regularizarea L2 adaugă o penalizare proporțională cu pătratul ponderilor, reducându-le spre zero. L1 încurajează raritatea prin penalizarea valorilor absolute. Abandonul dezactivează aleatoriu neuronii în timpul antrenamentului, forțând rețeaua să fie robustă. Oprirea timpurie oprește antrenamentul atunci când pierderea validării încetează să se îmbunătățească.

Metode comune de regularizare

• Penalizări de greutate L1 și L2
• Renunța
• Oprire timpurie
• Augmentarea datelor
• Normalizare în lot

Prea multă regularizare duce la subadaptare. Modelul devine prea simplu pentru a surprinde tipare reale. Reglarea forței face parte din meșteșug, iar validarea încrucișată ghidează de obicei alegerea.