Предварительное обучение дает модели общие знания. Тонкая настройка специализируется на них. Процесс продолжается на меньшем, специфичном для задачи наборе данных, корректируя веса таким образом, чтобы модель хорошо работала в целевой области.

Полная тонкая настройка обновляет каждый параметр, что дорого обходится для больших моделей. Параметрыо-эффективные методы, такие как LoRA и адаптеры, обновляют только небольшое подмножество параметров, достигая сопоставимых результатов при значительно меньших вычислительных затратах.

Типичные сценарии тонкой настройки

• Адаптация языковой модели к предметной области.
• Обучение новым категориям на основе модели зрения
• Согласование модели с человеческими предпочтениями
• Повышение производительности по конкретному бенчмарку.

Тонкая настройка также может вызвать проблемы. Модель может переобучиться на новых данных, потеряв общие возможности. Катастрофическое забывание стирает знания, полученные в ходе предварительного обучения. Тщательный контроль темпов обучения, смешивание данных и оценка помогают снизить этот риск.