Los modelos grandes aprenden bien, pero son lentos. Los modelos pequeños son rápidos, pero aprenden menos. La destilación del conocimiento busca un punto intermedio entrenando un modelo estudiante compacto para imitar a un modelo maestro más grande, utilizando las predicciones flexibles del maestro en lugar de solo las etiquetas rígidas.

Las predicciones flexibles contienen más información. Cuando un profesor asigna una probabilidad del 70 % a "gato" y del 25 % a "perro", el alumno aprende que ambos comparten características. Las etiquetas rígidas solo indicarían "gato". Esta información adicional ayuda al alumno a generalizar mejor que si se entrenara únicamente con etiquetas.

Variantes comunes de destilación

• Destilación basada en la respuesta a partir de los logits de salida
• Destilación basada en características a partir de capas intermedias
• Destilación basada en relaciones a partir de relaciones de capas
• Autodestilación dentro de la misma arquitectura

Esta técnica impulsa muchos sistemas de producción. Los asistentes móviles, los modelos de recomendación y los detectores en tiempo real suelen basarse en modelos simplificados que conservan la mayor parte de la precisión del modelo original a una fracción del costo.