Các mô hình phức tạp có khả năng ghi nhớ. Phương pháp điều chỉnh (regularization) sẽ phạt sự phức tạp, thúc đẩy mô hình hướng tới các giải pháp đơn giản hơn, có khả năng khái quát hóa tốt hơn. Đây là một trong những công cụ đáng tin cậy nhất chống lại hiện tượng quá khớp (overfitting).

Phương pháp điều chỉnh L2 thêm một hình phạt tỷ lệ thuận với bình phương của trọng số, làm giảm chúng về 0. L1 khuyến khích tính thưa thớt bằng cách phạt các giá trị tuyệt đối. Dropout vô hiệu hóa ngẫu nhiên các nơ-ron trong quá trình huấn luyện, buộc mạng phải mạnh mẽ hơn. Dừng sớm sẽ dừng quá trình huấn luyện khi tổn thất trên tập dữ liệu xác thực ngừng cải thiện.

Các phương pháp điều chỉnh phổ biến

• Hình phạt trọng lượng L1 và L2
• Bỏ học
• Dừng sớm
• Tăng cường dữ liệu
• Chuẩn hóa theo lô

Sử dụng quá nhiều chuẩn hóa sẽ dẫn đến hiện tượng thiếu khớp (underfitting). Mô hình trở nên quá đơn giản để nắm bắt các mẫu thực tế. Điều chỉnh độ mạnh của chuẩn hóa là một phần của kỹ thuật, và kiểm định chéo thường hướng dẫn lựa chọn này.