Τα μεγάλα μοντέλα μαθαίνουν καλά αλλά λειτουργούν αργά. Τα μικρά μοντέλα λειτουργούν γρήγορα αλλά μαθαίνουν λιγότερο. Η απόσταξη γνώσης διαχωρίζει τη διαφορά εκπαιδεύοντας ένα συμπαγές μοντέλο μαθητή να μιμείται έναν μεγαλύτερο δάσκαλο, χρησιμοποιώντας τις απαλές προβλέψεις του δασκάλου αντί μόνο τις αυστηρές ετικέτες.

Οι ήπιες προβλέψεις φέρουν περισσότερες πληροφορίες. Όταν ένας δάσκαλος αποδίδει 70% πιθανότητα στη γάτα και 25% στον σκύλο, ο μαθητής μαθαίνει ότι η γάτα και ο σκύλος έχουν κοινά χαρακτηριστικά. Οι αυστηρές ετικέτες θα έλεγαν μόνο γάτα. Αυτό το επιπλέον σήμα βοηθά τον μαθητή να γενικεύει καλύτερα από την εκπαίδευση μόνο σε ετικέτες.

Κοινές παραλλαγές απόσταξης

• Απόσταξη βάσει απόκρισης από λογαριθμικά στοιχεία εξόδου
• Απόσταξη με βάση τα χαρακτηριστικά από ενδιάμεσα στρώματα
• Απόσταξη βασισμένη σε σχέσεις από σχέσεις στρωμάτων
• Αυτοαπόσταξη εντός της ίδιας αρχιτεκτονικής

Η τεχνική τροφοδοτεί πολλά συστήματα παραγωγής. Οι κινητοί βοηθοί, τα μοντέλα συστάσεων και οι ανιχνευτές πραγματικού χρόνου συχνά βασίζονται σε αποσταγμένους μαθητές που διατηρούν το μεγαλύτερο μέρος της ακρίβειας του δασκάλου με ένα κλάσμα του κόστους.