En modell som er trent til å gjenkjenne katter og hunder vet allerede noe om kanter, teksturer og pels. Overføringslæring utnytter det slik at: i stedet for å starte med tilfeldige vekter, starter du med et nettverk som har lært fra et stort datasett og finjusterer det på ditt mindre, spesifikke problem. Kunnskapen som er oppnådd på den første oppgaven overføres til den andre.

Tilnærmingen ble standard fordi merkede data er knappe og beregninger er dyrt. Å trene en synsmodell fra bunnen av på 5000 medisinske bilder fungerer sjelden. Å ta et nettverk forhåndstrent på ImageNet og trene de siste lagene på nytt fungerer ofte. De tidlige lagene oppdager generiske funksjoner; de senere lagene spesialiserer seg.

Felles strategier

• Funksjonsutvinning: frys de forhåndstrente lagene og tren bare et nytt klassifiseringshode
• Finjustering: ti opp noen eller alle lag og fortsett treningen med en liten læringshastighet
• Domenetilpasning: justere en modell fra én datafordeling til en annen, for eksempel syntetisk til reell

Store språkmodeller har drevet dette videre. En enkelt forhåndstrent modell kan tilpasses juridisk skriving, medisinsk koding eller kundestøtte med moderat tilleggsopplæring. Haken er negativ overføring: hvis kilde- og måloppgavene er for forskjellige, kan de forhåndstrente vektene skade snarere enn hjelpe.