사전 학습은 모델에 일반적인 지식을 부여하고, 미세 조정은 모델을 특정 분야에 특화시킵니다. 이 과정은 더 작고 특정 작업에 특화된 데이터셋을 사용하여 학습을 지속하고, 가중치를 조정하여 모델이 목표 영역에서 뛰어난 성능을 발휘하도록 합니다.
완전 미세 조정은 모든 매개변수를 업데이트하므로 대규모 모델의 경우 비용이 많이 듭니다. LoRA 및 어댑터와 같은 매개변수 효율적인 방법은 소수의 매개변수만 업데이트하여 훨씬 적은 연산량으로 유사한 결과를 얻습니다.
일반적인 미세 조정 시나리오
- 도메인에 맞게 언어 모델을 조정하기
- 비전 모델에 새로운 범주를 가르치기
- 모델을 인간의 선호도에 맞추기
- 특정 벤치마크에서 성능 향상
미세 조정 또한 문제를 야기할 수 있습니다. 모델이 새로운 데이터에 과적합되어 일반적인 능력을 잃을 수 있으며, 파괴적 망각은 사전 학습에서 얻은 지식을 지워버릴 수 있습니다. 신중한 학습률, 데이터 혼합 및 평가는 이러한 위험을 완화하는 데 도움이 됩니다.
Comments (3)
Leave a comment