Stora modeller lär sig bra men fungerar långsamt. Små modeller fungerar snabbt men lär sig mindre. Kunskapsdestillation delar upp skillnaden genom att träna en kompakt elevmodell att imitera en större lärare, med hjälp av lärarens mjuka förutsägelser snarare än bara hårda etiketter.

Mjuka förutsägelser innehåller mer information. När en lärare tilldelar 70 procents sannolikhet till katt och 25 procent till hund, lär sig eleven att katt och hund delar egenskaper. Hårda etiketter skulle bara säga katt. Den extra signalen hjälper eleven att generalisera bättre än att träna enbart på etiketter.

Vanliga destillationsvarianter

• Responsbaserad destillation från utgångsloggar
• Funktionsbaserad destillation från mellanliggande lager
• Relationsbaserad destillation från lagerrelationer
• Självdestillation inom samma arkitektur

Tekniken driver många produktionssystem. Mobila assistenter, rekommendationsmodeller och realtidsdetektorer förlitar sig ofta på destillerade elever som behåller det mesta av lärarens noggrannhet till en bråkdel av kostnaden.