知識提煉 — 人工智慧

🧪 知識提煉

訓練一個小型模型來模仿一個大型模型的行為。

大型模型學習能力強但運行速度慢，小型模型運行速度快但學習能力弱。知識蒸餾透過訓練一個緊湊的學生模型來模仿大型教師模型，並利用教師模型的軟預測而非硬標籤，從而兼顧兩者之間的差異。

軟預測包含更多資訊。當老師給貓分配 70% 的機率，給狗 25% 的機率時，學生就能學到貓和狗有一些共同特徵。而硬標籤只會說是貓。這種額外的訊號有助於學生比僅基於標籤進行訓練更好地進行泛化。

常見的蒸餾變體

這項技術為許多生產系統提供支援。移動助理、推薦模型和即時檢測器通常依賴精煉後的學生模型，這些模型以極低的成本保留了教師模型的大部分準確率。

Comments (2)

Robert Ashford August 25, 2026

Knowledge distillation is how you compress a large model into a smaller one without losing too much performance. Useful for deployment.
Nadia F. May 2, 2026

The article is clear. Training a small model to mimic the behavior of a larger model. Simple but important in AI.