Złożone modele zapamiętują. Regularyzacja obniża złożoność, kierując model w stronę prostszych rozwiązań, które lepiej się generalizują. Jest to jedno z najskuteczniejszych narzędzi zapobiegających nadmiernemu dopasowaniu.

Regularyzacja L2 dodaje karę proporcjonalną do kwadratu wag, zmniejszając je do zera. L1 promuje rzadkość poprzez penalizację wartości bezwzględnych. Wypadnięcie losowo wyłącza neurony podczas treningu, wymuszając odporność sieci. Wczesne zatrzymanie zatrzymuje trening, gdy strata walidacyjna przestaje się poprawiać.

Typowe metody regularyzacji

• Kary za wagę L1 i L2
• Spadkowicz
• Wczesne zatrzymanie
• Rozszerzanie danych
• Normalizacja wsadowa

Zbyt duża regularyzacja prowadzi do niedopasowania. Model staje się zbyt prosty, by uchwycić rzeczywiste wzorce. Dostrajanie siły jest częścią rzemiosła, a wybór zazwyczaj opiera się na walidacji krzyżowej.