微調 — 人工智慧

🎛️ 微調

在較小的特定任務資料集上進一步訓練預訓練模型。

預訓練賦予模型通用知識，而微調則使其具備專門針對特定任務的能力。這個過程會繼續在一個規模較小、針對特定任務的資料集上進行訓練，並調整權重，使模型在目標領域表現良好。

完全微調會更新每個參數，這對大型模型來說計算量非常大。而像 LoRA 和適配器這樣的參數高效方法只更新一小部分參數，就能以極低的計算成本獲得類似的結果。

常見的微調場景

微調也可能引發問題。模型可能過度擬合新數據，從而喪失通用能力。災難性遺忘會抹去預訓練中累積的知識。謹慎的學習率、數據混合和評估有助於降低風險。

Comments (3)

Hobbyist September 28, 2026

Made a big difference for my domain-specific chatbot. Base model was too generic on its own.
ML practitioner September 11, 2026

Taking a pretrained model and training it further on a smaller specific dataset. Much cheaper than training from scratch.
Researcher August 16, 2026

Learning rate and which layers to freeze are the usual knobs. Overfitting the small set is the main risk.