经过训练用于识别猫狗的模型已经掌握了关于边缘、纹理和毛发的知识。迁移学习正是利用了这一点：它并非从随机权重开始，而是从一个已经从大型数据集中学习的网络入手，然后针对你遇到的较小、特定的问题进行微调。从第一个任务中获得的知识可以迁移到第二个任务中。

由于标注数据稀缺且计算成本高昂，这种方法逐渐成为标准。从零开始，用 5000 张医学图像训练视觉模型几乎不可能成功。而使用在 ImageNet 上预训练的网络，并重新训练其最后几层，通常效果不错。早期层检测通用特征，后期层则进行专门化处理。

常用策略

• 特征提取：冻结预训练层，仅训练一个新的分类器头
• 微调：解冻部分或全部层，并以较小的学习率继续训练。
• 领域自适应：将模型从一种数据分布调整到另一种数据分布，例如从合成数据分布调整到真实数据分布。

大型语言模型进一步推动了这一趋势。只需少量额外训练，一个预训练模型即可应用于法律写作、医学编码或客户支持等领域。但问题在于负迁移：如果源任务和目标任务差异过大，预训练权重反而会起到反作用。