El preentrenamiento proporciona al modelo conocimientos generales. El ajuste fino lo especializa. El proceso continúa entrenando con un conjunto de datos más pequeño y específico para la tarea, ajustando los pesos para que el modelo funcione bien en el dominio objetivo.

El ajuste fino completo actualiza todos los parámetros, lo cual resulta costoso para modelos grandes. Los métodos eficientes en parámetros, como LoRA y los adaptadores, actualizan solo un pequeño subconjunto, logrando resultados comparables con una fracción del esfuerzo computacional.

Escenarios comunes de ajuste fino

• Adaptación de un modelo de lenguaje a un dominio
• Enseñar un modelo de visión nuevas categorías
• Alinear un modelo con las preferencias humanas
• Mejorar el rendimiento en un punto de referencia específico.

El ajuste fino también puede causar problemas. Un modelo puede sobreajustarse a los nuevos datos, perdiendo capacidades generales. El olvido catastrófico borra el conocimiento del preentrenamiento. Unas tasas de aprendizaje cuidadosas, la combinación de datos y la evaluación ayudan a mitigar el riesgo.