Model besar belajar dengan baik tetapi berjalan lambat. Model kecil berjalan cepat tetapi belajar lebih sedikit. Distilasi pengetahuan mengambil jalan tengah dengan melatih model siswa yang ringkas untuk meniru guru yang lebih besar, menggunakan prediksi lunak guru daripada hanya label keras.

Prediksi lunak mengandung lebih banyak informasi. Ketika seorang guru memberikan probabilitas 70 persen untuk kucing dan 25 persen untuk anjing, siswa belajar bahwa kucing dan anjing memiliki fitur yang sama. Label keras hanya akan mengatakan kucing. Sinyal tambahan itu membantu siswa melakukan generalisasi lebih baik daripada hanya berlatih berdasarkan label saja.

Varian distilasi umum

• Distilasi berbasis respons dari logit keluaran
• Distilasi berbasis fitur dari lapisan perantara
• Distilasi berbasis relasi dari hubungan lapisan
• Distilasi mandiri dalam arsitektur yang sama

Teknik ini mendukung banyak sistem produksi. Asisten seluler, model rekomendasi, dan detektor waktu nyata sering mengandalkan siswa yang telah disaring yang mempertahankan sebagian besar akurasi guru dengan biaya yang jauh lebih rendah.