En model, der er trænet til at genkende katte og hunde, ved allerede noget om kanter, teksturer og pels. Transfer learning udnytter følgende: i stedet for at starte med tilfældige vægte, starter man med et netværk, der har lært fra et stort datasæt, og finjusterer det til et mindre, specifikke problem. Den viden, der er opnået på den første opgave, overføres til den anden.

Tilgangen blev standard, fordi mærkede data er knappe, og beregning er dyr. At træne en synsmodel fra bunden på 5.000 medicinske billeder virker sjældent. Det virker ofte at tage et netværk, der er prætrænet på ImageNet, og omtræne dets sidste lag. De tidlige lag registrerer generiske funktioner; de senere lag specialiserer sig.

Fælles strategier

• Funktionsudtrækning: frys de forudtrænede lag og træn kun et nyt klassifikatorhoved
• Finjustering: optø nogle eller alle lag og fortsæt træningen med en lille læringshastighed
• Domænetilpasning: juster en model fra én datafordeling til en anden, f.eks. syntetisk til reel

Store sprogmodeller har skubbet dette yderligere. En enkelt foruddannet model kan tilpasses juridisk skrivning, medicinsk kodning eller kundesupport med beskeden yderligere træning. Fangsten er negativ overførsel: hvis kilde- og målopgaverne er for forskellige, kan de foruddannede vægte skade snarere end hjælpe.