Složité modely se zapamatovávají. Regularizace penalizuje složitost a tlačí model k jednodušším řešením, která lépe zobecňují. Je to jeden z nejspolehlivějších nástrojů proti přeučení.

Regularizace L2 přidává penalizaci úměrnou druhé mocnině vah a zmenšuje je směrem k nule. L1 podporuje řídkost penalizací absolutních hodnot. Výpadek náhodně deaktivuje neurony během trénování a nutí síť k robustnosti. Předčasné zastavení zastaví trénování, jakmile se ztráta validace přestane zlepšovat.

Běžné metody regularizace

• Hmotnostní penalizace L1 a L2
• Odchod ze školy
• Předčasné zastavení
• Rozšíření dat
• Dávková normalizace

Příliš mnoho regularizace vede k nedostatečnému přizpůsobení. Model se stává příliš jednoduchým na to, aby zachytil skutečné vzorce. Ladění síly je součástí řemesla a křížová validace obvykle řídí výběr.