Az előtanítás általános ismereteket ad a modellnek. A finomhangolás specializálja azt. A folyamat egy kisebb, feladatspecifikus adathalmazon folytatja a betanítást, a súlyokat úgy módosítva, hogy a modell jól teljesítsen a céltartományon.

A teljes finomhangolás minden paramétert frissít, ami nagy modellek esetén költséges. A paraméterhatékony módszerek, mint például a LoRA és az adapterek, csak egy kis részhalmazt frissítenek, így a számítási igény töredékével hasonló eredményeket érnek el.

Gyakori finomhangolási forgatókönyvek

• Nyelvi modell adaptálása egy adott területre
• Új kategóriák tanítása egy látásmód modelljének
• Egy modell összehangolása az emberi preferenciákkal
• Teljesítmény javítása egy adott referenciaértéken

A finomhangolás szintén problémákat okozhat. Egy modell túlságosan illeszkedhet az új adatokhoz, elveszítve általános képességeit. A katasztrofális felejtés törli az előtanításból származó ismereteket. A gondos tanulási ráta, az adatkeverés és az értékelés segít csökkenteni a kockázatot.