Pretraining geeft een model algemene kennis. Finetuning specialiseert het model. Het proces gaat verder met trainen op een kleinere, taakspecifieke dataset, waarbij de gewichten worden aangepast zodat het model goed presteert op het beoogde domein.

Volledige fine-tuning werkt elke parameter bij, wat kostbaar is voor grote modellen. Parameter-efficiënte methoden zoals LoRA en adapters werken slechts een kleine subset bij, waardoor vergelijkbare resultaten worden behaald met een fractie van de rekenkracht.

Veelvoorkomende scenario's voor fijnafstelling

• Een taalmodel aanpassen aan een domein
• Het aanleren van een visiemodel nieuwe categorieën
• Een model afstemmen op menselijke voorkeuren
• Het verbeteren van de prestaties op een specifieke benchmark.

Fijnafstelling kan ook problemen veroorzaken. Een model kan overfitten op de nieuwe data, waardoor het zijn algemene capaciteiten verliest. Catastrofale vergeten wist kennis uit de pretraining. Zorgvuldige leersnelheden, datamixing en evaluatie helpen dit risico te beperken.