Büyük modeller iyi öğrenir ancak yavaş çalışır. Küçük modeller hızlı çalışır ancak daha az öğrenir. Bilgi damıtma, daha büyük bir öğretmen modelini taklit etmek için kompakt bir öğrenci modeli eğiterek, yalnızca kesin etiketleri değil, öğretmen modelinin yumuşak tahminlerini de kullanarak bu iki uç nokta arasında bir denge kurar.

Yumuşak tahminler daha fazla bilgi taşır. Bir öğretmen kediye %70, köpeğe %25 olasılık atadığında, öğrenci kedi ve köpeğin ortak özelliklere sahip olduğunu öğrenir. Sert etiketler ise sadece kedi derdi. Bu ek sinyal, öğrencinin yalnızca etiketlerle eğitim almaktan daha iyi genelleme yapmasına yardımcı olur.

Yaygın damıtma çeşitleri

• Çıktı logitlerinden yanıt tabanlı damıtma
• Ara katmanlardan özellik tabanlı damıtma
• Katman ilişkilerinden ilişki temelli damıtma
• Aynı mimari içinde kendi kendini damıtma

Bu teknik birçok üretim sistemine güç veriyor. Mobil asistanlar, öneri modelleri ve gerçek zamanlı dedektörler, genellikle öğretmenin doğruluğunun büyük bir kısmını maliyetin çok küçük bir kısmıyla koruyan damıtılmış öğrencilere dayanıyor.