Η προεκπαίδευση παρέχει σε ένα μοντέλο γενικές γνώσεις. Η βελτιστοποίηση την εξειδικεύει. Η διαδικασία συνεχίζει την εκπαίδευση σε ένα μικρότερο, συγκεκριμένο για κάθε εργασία σύνολο δεδομένων, προσαρμόζοντας τα βάρη έτσι ώστε το μοντέλο να αποδίδει καλά στον τομέα-στόχο.

Η πλήρης βελτιστοποίηση ενημερώνει κάθε παράμετρο, κάτι που είναι δαπανηρό για μεγάλα μοντέλα. Οι μέθοδοι που είναι αποδοτικές ως προς τις παραμέτρους, όπως το LoRA και οι προσαρμογείς, ενημερώνουν μόνο ένα μικρό υποσύνολο, επιτυγχάνοντας συγκρίσιμα αποτελέσματα με ένα κλάσμα του υπολογιστικού χρόνου.

Συνήθη σενάρια βελτιστοποίησης

• Προσαρμογή ενός γλωσσικού μοντέλου σε έναν τομέα
• Διδασκαλία νέων κατηγοριών σε ένα μοντέλο όρασης
• Ευθυγράμμιση ενός μοντέλου με τις ανθρώπινες προτιμήσεις
• Βελτίωση της απόδοσης σε ένα συγκεκριμένο σημείο αναφοράς

Η βελτιστοποίηση μπορεί επίσης να προκαλέσει προβλήματα. Ένα μοντέλο μπορεί να υπερπροσαρμοστεί στα νέα δεδομένα, χάνοντας γενικές δυνατότητες. Η καταστροφική λήθη διαγράφει γνώσεις από την προ-εκπαίδευση. Οι προσεκτικοί ρυθμοί εκμάθησης, η ανάμειξη δεδομένων και η αξιολόγηση βοηθούν στον μετριασμό του κινδύνου.