Một mô hình đạt điểm 99% trên dữ liệu huấn luyện và 60% trên dữ liệu mới đã học sai bài học. Hiện tượng quá khớp (overfitting) nghĩa là ghi nhớ nhiễu và những đặc điểm riêng biệt thay vì mô hình cơ bản, và đây là lỗi phổ biến nhất trong học máy ứng dụng.

Các dấu hiệu rất dễ nhận biết. Mất mát trên tập huấn luyện liên tục giảm trong khi mất mát trên tập kiểm chứng tăng lên. Mô hình hoạt động tốt trên các ví dụ đã được thấy và hoạt động kém trên các ví dụ khác. Độ phức tạp, tập dữ liệu nhỏ và thời gian huấn luyện dài đều làm tăng rủi ro.

Các biện pháp đối phó phổ biến

• Thêm dữ liệu huấn luyện
• Điều chỉnh như giảm trọng số
• Bỏ học giữa chừng trong quá trình đào tạo
• Dừng sớm dựa trên tổn thất xác thực
• Kiến trúc mô hình đơn giản hơn
• Tăng cường dữ liệu

Hiện tượng "underfitting" (thiếu khớp) là vấn đề ngược lại, khi mô hình quá đơn giản để nắm bắt được toàn bộ quy luật. Mục tiêu là đạt được sự cân bằng, nơi mô hình có thể khái quát hóa mà không cần ghi nhớ.