Một mô hình được huấn luyện để nhận dạng mèo và chó đã có một số hiểu biết về các cạnh, kết cấu và lông. Học chuyển giao khai thác điều đó: thay vì bắt đầu từ các trọng số ngẫu nhiên, bạn bắt đầu với một mạng đã học từ một tập dữ liệu lớn và tinh chỉnh nó trên vấn đề cụ thể, nhỏ hơn của bạn. Kiến thức thu được từ nhiệm vụ đầu tiên sẽ được chuyển giao sang nhiệm vụ thứ hai.

Phương pháp này trở nên phổ biến vì dữ liệu được gắn nhãn rất khan hiếm và chi phí tính toán cao. Việc huấn luyện một mô hình thị giác từ đầu trên 5.000 hình ảnh y tế hiếm khi hiệu quả. Việc sử dụng một mạng đã được huấn luyện trước trên ImageNet và huấn luyện lại các lớp cuối cùng của nó thường mang lại kết quả tốt hơn. Các lớp đầu tiên phát hiện các đặc điểm chung; các lớp sau chuyên biệt hóa các đặc điểm cụ thể.

Các chiến lược phổ biến

• Trích xuất đặc trưng: đóng băng các lớp đã được huấn luyện trước và chỉ huấn luyện một bộ phân loại mới.
• Tinh chỉnh: bỏ đóng băng một số hoặc tất cả các lớp và tiếp tục huấn luyện với tốc độ học nhỏ.
• Thích ứng miền: điều chỉnh mô hình từ phân bố dữ liệu này sang phân bố dữ liệu khác, chẳng hạn như từ dữ liệu tổng hợp sang dữ liệu thực.

Các mô hình ngôn ngữ quy mô lớn đã thúc đẩy điều này tiến xa hơn. Một mô hình được huấn luyện trước có thể được điều chỉnh cho việc viết văn bản pháp lý, mã hóa y tế hoặc hỗ trợ khách hàng chỉ với một lượng huấn luyện bổ sung khiêm tốn. Điểm hạn chế là sự chuyển giao tiêu cực: nếu nhiệm vụ nguồn và nhiệm vụ đích quá khác nhau, các trọng số được huấn luyện trước có thể gây hại hơn là giúp ích.