Az összetett modellek memorizálnak. A regularizáció bünteti a bonyolultságot, a modellt az egyszerűbb, jobban általánosítható megoldások felé terelve. Ez az egyik legmegbízhatóbb eszköz a túlillesztéssel szemben.

Az L2 regularizáció a súlyok négyzetével arányos büntetést alkalmaz, nulla felé zsugorítva azokat. Az L1 az abszolút értékek büntetésével ösztönzi a ritkaságot. A neuronok kiesése véletlenszerűen letiltja a neuronokat a betanítás során, arra kényszerítve a hálózatot, hogy robusztus legyen. A korai leállítás leállítja a betanítást, amikor a validációs veszteség javulása megszűnik.

Gyakori regularizációs módszerek

• L1 és L2 súlybüntetések
• Lemorzsolódás
• Korai leállítás
• Adatkiegészítés
• Kötegelt normalizálás

A túl sok regularizáció alulillesztéshez vezet. A modell túl egyszerűvé válik ahhoz, hogy valós mintázatokat ragadjon meg. Az erősség finomhangolása a szakértelem része, és a keresztvalidáció általában vezérli a választást.