Le préentraînement dote un modèle de connaissances générales. Le réglage fin le spécialise. Ce processus poursuit l'entraînement sur un ensemble de données plus restreint et spécifique à la tâche, en ajustant les pondérations afin que le modèle soit performant dans le domaine cible.

Le réglage fin complet met à jour chaque paramètre, ce qui est coûteux pour les grands modèles. Les méthodes économes en paramètres comme LoRA et les adaptateurs ne mettent à jour qu'un petit sous-ensemble, obtenant des résultats comparables avec une puissance de calcul considérablement réduite.

Scénarios courants de réglage fin

• Adapter un modèle de langage à un domaine
• Enseigner un modèle de vision de nouvelles catégories
• Aligner un modèle sur les préférences humaines
• Améliorer les performances sur un benchmark spécifique

Le réglage fin peut aussi poser problème. Un modèle peut se suradapter aux nouvelles données et perdre ainsi ses capacités générales. L'oubli catastrophique efface les connaissances acquises lors du pré-entraînement. Des taux d'apprentissage, un mélange de données et une évaluation judicieux permettent d'atténuer ce risque.