Các mô hình lớn học tốt nhưng chạy chậm. Các mô hình nhỏ chạy nhanh nhưng học ít hơn. Phương pháp chưng cất tri thức dung hòa cả hai bằng cách huấn luyện một mô hình học sinh nhỏ gọn để bắt chước một mô hình giáo viên lớn hơn, sử dụng các dự đoán mềm của giáo viên thay vì chỉ sử dụng các nhãn cứng.

Các dự đoán mềm chứa nhiều thông tin hơn. Khi giáo viên gán xác suất 70% cho mèo và 25% cho chó, học sinh sẽ học được rằng mèo và chó có những đặc điểm chung. Nhãn cứng chỉ ghi là mèo. Tín hiệu bổ sung đó giúp học sinh khái quát hóa tốt hơn so với việc chỉ được huấn luyện bằng nhãn.

Các biến thể chưng cất phổ biến

• Phương pháp chưng cất dựa trên phản hồi từ logit đầu ra
• Quá trình chưng cất dựa trên đặc điểm từ các lớp trung gian
• Phương pháp chưng cất dựa trên mối quan hệ từ các mối quan hệ lớp
• Tự chưng cất trong cùng một kiến ​​trúc

Kỹ thuật này hỗ trợ nhiều hệ thống sản xuất. Trợ lý di động, mô hình đề xuất và bộ phát hiện thời gian thực thường dựa vào các học sinh được chọn lọc, giữ lại phần lớn độ chính xác của giáo viên với chi phí thấp hơn nhiều.