Model yang mencetak skor 99 persen pada data pelatihan dan 60 persen pada data baru telah mempelajari pelajaran yang salah. Overfitting berarti menghafal noise dan keunikan alih-alih pola yang mendasarinya, dan ini adalah kegagalan paling umum dalam pembelajaran mesin terapan.

Sinyalnya mudah dikenali. Kerugian pelatihan terus menurun sementara kerugian validasi meningkat. Model berkinerja baik pada contoh yang sudah pernah dilihatnya dan buruk pada hal lainnya. Kompleksitas, dataset kecil, dan pelatihan yang panjang semuanya meningkatkan risiko.

Tindakan penanggulangan umum

• Data pelatihan lebih lanjut
• Regularisasi seperti penurunan berat badan
• Berhenti di tengah pelatihan
• Penghentian dini berdasarkan kehilangan validasi
• Arsitektur model yang lebih sederhana
• Penambahan data

Underfitting adalah masalah kebalikannya, di mana model terlalu sederhana untuk menangkap pola sama sekali. Tujuannya adalah jalan tengah, di mana model melakukan generalisasi tanpa menghafal.