Huấn luyện sơ bộ cung cấp cho mô hình kiến ​​thức tổng quát. Tinh chỉnh chuyên môn hóa mô hình. Quá trình này tiếp tục huấn luyện trên một tập dữ liệu nhỏ hơn, chuyên biệt cho từng nhiệm vụ, điều chỉnh trọng số để mô hình hoạt động tốt trên miền mục tiêu.

Việc tinh chỉnh toàn diện cập nhật mọi tham số, điều này rất tốn kém đối với các mô hình lớn. Các phương pháp tiết kiệm tham số như LoRA và bộ điều hợp chỉ cập nhật một tập hợp nhỏ các tham số, đạt được kết quả tương đương với một phần nhỏ chi phí tính toán.

Các tình huống tinh chỉnh phổ biến

• Điều chỉnh mô hình ngôn ngữ cho phù hợp với một lĩnh vực cụ thể.
• Dạy mô hình tầm nhìn các danh mục mới
• Điều chỉnh mô hình sao cho phù hợp với sở thích của con người
• Cải thiện hiệu suất trên một tiêu chuẩn cụ thể

Việc tinh chỉnh cũng có thể gây ra vấn đề. Mô hình có thể bị quá khớp với dữ liệu mới, làm mất đi các khả năng tổng quát. Hiện tượng quên thảm khốc xóa sạch kiến ​​thức từ quá trình huấn luyện trước đó. Tốc độ học tập cẩn thận, việc trộn dữ liệu và đánh giá giúp giảm thiểu rủi ro.