고양이와 개를 인식하도록 훈련된 모델은 이미 가장자리, 질감, 털에 대한 정보를 알고 있습니다. 전이 학습은 바로 이러한 점을 활용합니다. 즉, 무작위 가중치에서 시작하는 대신, 대규모 데이터셋으로 학습된 네트워크를 기반으로 하여 더 작고 특정한 문제에 맞춰 미세 조정하는 것입니다. 첫 번째 작업에서 얻은 지식이 두 번째 작업으로 전이되는 것입니다.

레이블이 지정된 데이터가 부족하고 컴퓨팅 비용이 많이 들기 때문에 이러한 접근 방식이 표준이 되었습니다. 5,000개의 의료 영상으로 처음부터 비전 모델을 학습시키는 것은 거의 성공하지 못합니다. ImageNet에서 사전 학습된 네트워크를 가져와 마지막 레이어를 재학습시키는 것이 종종 효과적입니다. 초기 레이어는 일반적인 특징을 감지하고, 후기 레이어는 특정 특징에 특화됩니다.

일반적인 전략

• 특징 추출: 사전 학습된 레이어를 고정하고 새로운 분류기 헤드만 학습합니다.
• 미세 조정: 일부 또는 모든 레이어의 고정을 해제하고 작은 학습률로 학습을 계속합니다.
• 도메인 적응: 합성 데이터에서 실제 데이터로의 전환과 같이, 한 데이터 분포에서 다른 데이터 분포에 맞게 모델을 조정하는 것.

대규모 언어 모델은 이러한 가능성을 더욱 확장시켰습니다. 사전 학습된 단일 모델은 약간의 추가 학습만으로 법률 문서 작성, 의료 코딩 또는 고객 지원에 적용할 수 있습니다. 하지만 주의할 점은 부정적 전이입니다. 즉, 원천 작업과 목표 작업이 너무 다르면 사전 학습된 가중치가 오히려 도움이 되기보다는 해가 될 수 있습니다.