猫や犬を認識するように訓練されたモデルは、既に輪郭、質感、毛並みについてある程度の知識を持っています。転移学習はこの知識を活用します。ランダムな重みから始めるのではなく、大規模なデータセットから学習したネットワークを起点として、より小規模で具体的な問題に合わせて微調整します。最初のタスクで得られた知識が、2番目のタスクに転移されるのです。

ラベル付きデータが不足し、計算コストが高いことから、この手法が標準となった。5,000枚の医用画像で画像認識モデルをゼロから学習させるのは、ほとんど成功しない。ImageNetで事前学習済みのネットワークの最終層を再学習させる方が、多くの場合成功する。初期層は一般的な特徴を検出し、後期層は特定の特徴に特化している。

一般的な戦略

• 特徴抽出：事前学習済みレイヤーを固定し、新しい分類器ヘッドのみを学習する
• 微調整：一部または全てのレイヤーの凍結を解除し、小さな学習率でトレーニングを続行します。
• ドメイン適応：あるデータ分布から別のデータ分布へモデルを調整する（合成データから実データへなど）。

大規模言語モデルは、この傾向をさらに推し進めてきました。事前学習済みの単一モデルは、わずかな追加学習で、法律文書作成、医療コーディング、顧客サポートなど、様々な用途に適用できます。ただし、負の転移学習という落とし穴があります。ソースタスクとターゲットタスクがあまりにも異なる場合、事前学習済みの重みは役に立つどころか、むしろ悪影響を及ぼす可能性があります。