Das Vortraining vermittelt einem Modell allgemeines Wissen. Das Feintuning spezialisiert es. Dabei wird das Training anhand eines kleineren, aufgabenspezifischen Datensatzes fortgesetzt und die Gewichte so angepasst, dass das Modell im Zielbereich optimale Ergebnisse erzielt.

Die vollständige Feinabstimmung aktualisiert jeden Parameter, was bei großen Modellen aufwändig ist. Parametereffiziente Methoden wie LoRA und Adapter aktualisieren nur eine kleine Teilmenge und erzielen vergleichbare Ergebnisse mit einem Bruchteil des Rechenaufwands.

Gängige Feinabstimmungsszenarien

• Anpassung eines Sprachmodells an eine Domäne
• Einem Visionsmodell neue Kategorien beibringen
• Ein Modell an menschlichen Präferenzen ausrichten
• Leistungsverbesserung bei einem bestimmten Benchmark

Auch die Feinabstimmung kann Probleme verursachen. Ein Modell kann sich zu stark an die neuen Daten anpassen und dadurch seine allgemeinen Fähigkeiten einbüßen. Katastrophales Vergessen löscht das Wissen aus dem Vortraining. Sorgfältig gewählte Lernraten, die Kombination verschiedener Daten und eine sorgfältige Evaluierung helfen, dieses Risiko zu minimieren.