Duże modele uczą się dobrze, ale działają powoli. Małe modele działają szybko, ale uczą się mniej. Destylacja wiedzy pozwala zniwelować różnicę, ucząc kompaktowy model ucznia naśladowania większego nauczyciela, wykorzystując jego przewidywania, a nie tylko sztywne etykiety.

Miękkie prognozy niosą ze sobą więcej informacji. Kiedy nauczyciel przypisuje 70% prawdopodobieństwa kotu i 25% psu, uczeń uczy się, że kot i pies mają wspólne cechy. Etykiety twarde wskazywałyby tylko na kota. Ten dodatkowy sygnał pomaga uczniowi generalizować lepiej niż uczenie wyłącznie na etykietach.

Typowe warianty destylacji

• Destylacja oparta na odpowiedziach z logitów wyjściowych
• Destylacja oparta na cechach z warstw pośrednich
• Destylacja oparta na relacjach z relacji warstwowych
• Samodzielna destylacja w ramach tej samej architektury

Ta technika napędza wiele systemów produkcyjnych. Mobilni asystenci, modele rekomendacji i detektory w czasie rzeczywistym często opierają się na analizie danych od studentów, którzy zachowują większość dokładności nauczyciela, przy ułamku kosztów.