Model yang kompleks cenderung menghafal. Regularisasi memberikan penalti pada kompleksitas, mendorong model menuju solusi yang lebih sederhana dan mampu melakukan generalisasi dengan lebih baik. Ini adalah salah satu alat yang paling andal untuk mengatasi overfitting.

Regularisasi L2 menambahkan penalti yang proporsional dengan kuadrat bobot, mengecilkannya mendekati nol. L1 mendorong sparsitas dengan memberikan penalti pada nilai absolut. Dropout secara acak menonaktifkan neuron selama pelatihan, memaksa jaringan untuk menjadi tangguh. Penghentian dini menghentikan pelatihan ketika kerugian validasi berhenti meningkat.

Metode regularisasi umum

• penalti bobot L1 dan L2
• Putus sekolah
• Penghentian dini
• Penambahan data
• Normalisasi batch

Regularisasi yang berlebihan menyebabkan underfitting. Model menjadi terlalu sederhana untuk menangkap pola sebenarnya. Menyesuaikan kekuatan adalah bagian dari keahlian, dan validasi silang biasanya memandu pilihan tersebut.