Model yang menghafal data pelatihan akan gagal pada contoh baru. Model yang mengabaikan nuansa akan melewatkan pola sepenuhnya. Ketegangan antara mode kegagalan ini adalah trade-off bias-varians, dan hal ini membentuk hampir setiap keputusan dalam pembelajaran mesin.

Bias mengukur kesalahan yang berasal dari asumsi yang terlalu sederhana. Bias tinggi berarti underfitting (ketidaksesuaian model yang kurang optimal). Varians mengukur sensitivitas terhadap fluktuasi kecil dalam data pelatihan. Varians tinggi berarti overfitting (kesesuaian model yang berlebihan). Kesalahan total menggabungkan keduanya, ditambah noise yang tidak dapat dihilangkan.

Sinyal tipikal

• Kesalahan pelatihan tinggi, kesalahan pengujian tinggi, underfitting
• Kesalahan pelatihan rendah, kesalahan pengujian tinggi, overfitting
• Model yang rendah dan pas.
• Keduanya tinggi, model keluarga yang salah.

Praktik modern memperumit kurva klasik. Jaringan saraf besar dapat mencapai bias rendah dan varians rendah secara bersamaan, yang tidak diprediksi oleh teori lama. Regularisasi, lebih banyak data, dan penggabungan tetap menjadi alat standar untuk mengelola pertukaran tersebut.