經過訓練用於識別貓狗的模型已經掌握了關於邊緣、紋理和毛髮的知識。遷移學習正是利用了這一點：它並非從隨機權重開始，而是從一個已經從大型資料集中學習的網路入手，然後針對你遇到的較小、特定的問題進行微調。從第一個任務中獲得的知識可以遷移到第二個任務。

由於標註數據稀缺且計算成本高昂，這種方法逐漸成為標準。從零開始，用 5000 張醫學影像訓練視覺模型幾乎不可能成功。而使用在 ImageNet 上預先訓練的網絡，並重新訓練其最後幾層，通常效果不錯。早期層檢測通用特徵，後期層則進行專門化處理。

常用策略

• 特徵提取：凍結預訓練層，僅訓練一個新的分類器頭
• 微調：解凍部分或全部層，並以較小的學習率繼續訓練。
• 領域自適應：將模型從一種資料分佈調整到另一種資料分佈，例如從合成資料分佈調整到真實資料分佈。

大型語言模型進一步推動了這一趨勢。只需少量額外訓練，一個預訓練模型即可應用於法律寫作、醫學編碼或客戶支援等領域。但問題在於負遷移：如果來源任務和目標任務差異過大，預訓練權重反而會產生反效果。