O pré-treino fornece um conhecimento geral ao modelo. O ajuste fino especializa-o. O processo continua o treino num conjunto de dados mais pequeno e específico para a tarefa, ajustando os pesos para que o modelo tenha um bom desempenho no domínio alvo.

O ajuste fino completo atualiza todos os parâmetros, o que é dispendioso para modelos de grandes dimensões. Os métodos com utilização eficiente de parâmetros, como o LoRA e os adaptadores, atualizam apenas um pequeno subconjunto, alcançando resultados comparáveis ​​com uma fração do custo computacional.

Cenários comuns de ajuste fino

• Adaptar um modelo de linguagem a um domínio
• Ensinar um modelo de visão a novas categorias
• Alinhar um modelo com as preferências humanas
• Melhorar o desempenho num benchmark específico.

O ajuste fino também pode causar problemas. Um modelo pode ajustar-se demasiado aos novos dados, perdendo as suas capacidades gerais. O esquecimento catastrófico apaga o conhecimento adquirido no pré-treino. Taxas de aprendizagem cuidadosas, combinação de dados e avaliação ajudam a mitigar este risco.