Ένα μοντέλο που έχει εκπαιδευτεί να αναγνωρίζει γάτες και σκύλους γνωρίζει ήδη κάτι για τις άκρες, τις υφές και το τρίχωμα. Η μεταφορά μάθησης εκμεταλλεύεται αυτό: αντί να ξεκινάτε από τυχαία βάρη, ξεκινάτε με ένα δίκτυο που έχει μάθει από ένα μεγάλο σύνολο δεδομένων και το βελτιώνετε στο μικρότερο, συγκεκριμένο πρόβλημά σας. Η γνώση που αποκτάται από την πρώτη εργασία μεταφέρεται στη δεύτερη.

Η προσέγγιση έγινε στάνταρ επειδή τα δεδομένα με ετικέτες είναι σπάνια και οι υπολογισμοί είναι ακριβοί. Η εκπαίδευση ενός μοντέλου όρασης από την αρχή σε 5.000 ιατρικές εικόνες σπάνια λειτουργεί. Η λήψη ενός δικτύου που έχει εκπαιδευτεί εκ των προτέρων στο ImageNet και η επανεκπαίδευση των τελικών του επιπέδων συχνά λειτουργεί. Τα πρώιμα επίπεδα ανιχνεύουν γενικά χαρακτηριστικά, ενώ τα μεταγενέστερα επίπεδα εξειδικεύονται.

Κοινές στρατηγικές

• Εξαγωγή χαρακτηριστικών: πάγωμα των προ-εκπαιδευμένων στρώσεων και εκπαίδευση μόνο μιας νέας κεφαλής ταξινομητή
• Βελτιστοποίηση: ξεπαγώστε ορισμένα ή όλα τα επίπεδα και συνεχίστε την εκπαίδευση με μικρό ρυθμό εκμάθησης
• Προσαρμογή τομέα: προσαρμογή ενός μοντέλου από μια κατανομή δεδομένων σε μια άλλη, όπως από συνθετική σε πραγματική

Τα μεγάλα γλωσσικά μοντέλα έχουν προωθήσει περαιτέρω αυτό το ζήτημα. Ένα μόνο προ-εκπαιδευμένο μοντέλο μπορεί να προσαρμοστεί σε νομική γραφή, ιατρική κωδικοποίηση ή υποστήριξη πελατών με μέτρια πρόσθετη εκπαίδευση. Το πρόβλημα είναι η αρνητική μεταφορά: εάν οι εργασίες πηγής και στόχου είναι πολύ διαφορετικές, τα προ-εκπαιδευμένα βάρη μπορούν να βλάψουν αντί να βοηθήσουν.