Quá trình huấn luyện cần một điểm số. Hàm mất mát đo lường mức độ sai lệch của các dự đoán của mô hình, cung cấp cho trình tối ưu hóa một tham số để giảm thiểu. Entropy chéo được sử dụng cho phân loại. Sai số bình phương trung bình được sử dụng cho hồi quy. Các hàm mất mát tùy chỉnh cho các nhiệm vụ chuyên biệt.

Sự lựa chọn định hình hành vi. Một mô hình được huấn luyện trên hàm mất mát entropy chéo sẽ học các xác suất được hiệu chỉnh. Một mô hình được huấn luyện trên hàm mất mát bản lề sẽ học một biên độ. Hai mô hình với kiến ​​trúc và dữ liệu giống hệt nhau có thể hoạt động rất khác nhau tùy thuộc vào điều bạn yêu cầu chúng tối thiểu hóa.

Các hàm mất mát thông thường

• Sai số bình phương trung bình cho hồi quy
• Entropy chéo để phân loại
• Hàm mất mát bản lề cho các bộ phân loại dựa trên biên độ
• Mất mát tương phản cho các phép nhúng
• Hàm mất mát bộ ba cho học tập tương đồng

Dữ liệu không cân bằng làm phức tạp việc tính toán hàm mất mát. Một bộ phân loại được huấn luyện trên hàm mất mát entropy chéo sẽ ưu tiên lớp chiếm đa số trừ khi trọng số được điều chỉnh. Hàm mất mát Focal và trọng số lớp giải quyết vấn đề này, nhưng cần thêm bước tinh chỉnh.