Les grands modèles apprennent bien mais sont lents. Les petits modèles sont rapides mais apprennent moins. La distillation des connaissances offre un compromis en entraînant un modèle élève compact à imiter un modèle enseignant plus complexe, en utilisant les prédictions de ce dernier plutôt que ses seules étiquettes.

Les prédictions nuancées sont plus informatives. Si un enseignant attribue 70 % de probabilité au chat et 25 % au chien, l'élève apprend que le chat et le chien partagent des caractéristiques. Des étiquettes strictes indiqueraient uniquement « chat ». Ce signal supplémentaire permet à l'élève de mieux généraliser que si l'apprentissage se limitait aux étiquettes.

variantes de distillation courantes

• Distillation basée sur la réponse à partir des logits de sortie
• Distillation basée sur les caractéristiques à partir de couches intermédiaires
• Distillation basée sur les relations à partir des relations de couches
• Autodistillation au sein d'une même architecture

Cette technique est au cœur de nombreux systèmes de production. Les assistants mobiles, les modèles de recommandation et les détecteurs en temps réel s'appuient souvent sur des modèles simplifiés qui conservent la majeure partie de la précision du modèle original à un coût bien moindre.