Một mô hình ghi nhớ dữ liệu huấn luyện sẽ thất bại với các ví dụ mới. Một mô hình bỏ qua các sắc thái tinh tế sẽ bỏ sót hoàn toàn các mẫu. Sự căng thẳng giữa các chế độ thất bại này chính là sự đánh đổi giữa độ lệch và phương sai, và nó định hình gần như mọi quyết định trong học máy.

Sai số thiên lệch (Bias) đo lường lỗi phát sinh từ những giả định quá đơn giản. Sai số thiên lệch cao có nghĩa là dữ liệu chưa khớp (underfitting). Phương sai (Variance) đo lường độ nhạy cảm với những biến động nhỏ trong dữ liệu huấn luyện. Phương sai cao có nghĩa là dữ liệu quá khớp (overfitting). Tổng lỗi (Total error) kết hợp cả hai, cộng thêm nhiễu không thể loại bỏ.

Tín hiệu điển hình

• Sai số huấn luyện cao, sai số kiểm thử cao, hiện tượng thiếu khớp dữ liệu.
• Lỗi huấn luyện thấp, lỗi kiểm tra cao, hiện tượng quá khớp.
• Cả hai đều thấp và vừa vặn.
• Cả hai đều cao, nhưng thuộc dòng họ mô hình sai.

Thực tiễn hiện đại làm phức tạp thêm đường cong kinh điển. Các mạng nơ-ron lớn có thể đạt được độ lệch thấp và phương sai thấp đồng thời, điều mà lý thuyết cũ không dự đoán được. Chuẩn hóa, nhiều dữ liệu hơn và kết hợp mô hình vẫn là những công cụ tiêu chuẩn để quản lý sự đánh đổi này.