बड़े मॉडल अच्छी तरह सीखते हैं लेकिन उनकी गति धीमी होती है। छोटे मॉडल तेजी से चलते हैं लेकिन उनकी सीखने की गति कम होती है। नॉलेज डिस्टिलेशन इन दोनों के बीच संतुलन बनाता है, जिसमें एक कॉम्पैक्ट स्टूडेंट मॉडल को एक बड़े टीचर मॉडल की नकल करने के लिए प्रशिक्षित किया जाता है, और इसके लिए केवल हार्ड लेबल के बजाय टीचर के सॉफ्ट प्रेडिक्शन का उपयोग किया जाता है।

अस्पष्ट अनुमानों में अधिक जानकारी होती है। जब कोई शिक्षक बिल्ली को 70 प्रतिशत और कुत्ते को 25 प्रतिशत संभावना देता है, तो छात्र सीखता है कि बिल्ली और कुत्ते में कुछ समानताएँ हैं। स्पष्ट अनुमानों से केवल बिल्ली का ही अनुमान लगाया जा सकता है। यह अतिरिक्त संकेत छात्र को केवल स्पष्ट अनुमानों पर आधारित प्रशिक्षण की तुलना में बेहतर ढंग से समझने में मदद करता है।

सामान्य आसवन प्रकार

• आउटपुट लॉजिट्स से प्रतिक्रिया-आधारित आसवन
• मध्यवर्ती परतों से विशेषता-आधारित आसवन
• परत संबंधों से संबंध-आधारित आसवन
• एक ही संरचना के भीतर स्व-आसवन

यह तकनीक कई उत्पादन प्रणालियों को शक्ति प्रदान करती है। मोबाइल सहायक, अनुशंसा मॉडल और रीयल-टाइम डिटेक्टर अक्सर ऐसे संक्षिप्त छात्रों पर निर्भर करते हैं जो शिक्षक की सटीकता को कम लागत में बरकरार रखते हैं।