A nagy modellek jól tanulnak, de lassan futnak. A kis modellek gyorsan futnak, de kevesebbet tanulnak. A tudásdesztilláció egy kompakt tanulómodellt képez ki egy nagyobb tanár utánzására, a tanár puha predikcióit használva, nem csak kemény címkéket.

A „puha” predikciók több információt hordoznak. Amikor egy tanár 70 százalékos valószínűséget rendel a macskához és 25 százalékot a kutyához, a diák megtanulja, hogy a macska és a kutya közös tulajdonságokkal rendelkeznek. A „kemény” címkék csak a „macska”-at írnák le. Ez a plusz jel segít a diáknak jobban általánosítani, mint ha csak a címkéken tanítanánk.

Gyakori lepárlási változatok

• Válasz alapú lepárlás kimeneti logaritmusokból
• Jellemzőalapú desztilláció köztes rétegekből
• Relációalapú lepárlás rétegkapcsolatokból
• Öndesztilláció ugyanazon architektúrán belül

A technika számos termelési rendszert működtet. A mobil asszisztensek, az ajánlási modellek és a valós idejű detektorok gyakran olyan leszűrt diákokra támaszkodnak, akik a tanár pontosságának nagy részét a költségek töredékéért megőrzik.