知识提炼 — 人工智能

🧪 知识提炼

训练一个小型模型来模仿一个大型模型的行为。

大型模型学习能力强但运行速度慢，小型模型运行速度快但学习能力弱。知识蒸馏通过训练一个紧凑的学生模型来模仿大型教师模型，并利用教师模型的软预测而非硬标签，从而兼顾两者之间的差异。

软预测包含更多信息。当老师给猫分配 70% 的概率，给狗分配 25% 的概率时，学生就能学到猫和狗有一些共同特征。而硬标签只会说是猫。这种额外的信号有助于学生比仅基于标签进行训练更好地进行泛化。

常见的蒸馏变体

这项技术为许多生产系统提供支持。移动助手、推荐模型和实时检测器通常依赖于精炼后的学生模型，这些模型以极低的成本保留了教师模型的大部分准确率。

Comments (2)

Robert Ashford August 25, 2026

Knowledge distillation is how you compress a large model into a smaller one without losing too much performance. Useful for deployment.
Nadia F. May 2, 2026

The article is clear. Training a small model to mimic the behavior of a larger model. Simple but important in AI.