En modell som är tränad att känna igen katter och hundar vet redan en del om kanter, texturer och päls. Transferinlärning utnyttjar att: istället för att utgå från slumpmässiga vikter börjar man med ett nätverk som har lärt sig från en stor datamängd och finjusterar den mot ett mindre, specifika problem. Kunskapen som erhållits från den första uppgiften överförs till den andra.

Metoden blev standard eftersom märkt data är knapp och beräkningsförmågan är dyr. Att träna en synmodell från grunden på 5 000 medicinska bilder fungerar sällan. Att förträna ett nätverk på ImageNet och omträna dess slutliga lager fungerar ofta. De tidiga lagren upptäcker generiska funktioner; de senare lagren specialiserar sig.

Gemensamma strategier

• Funktionsutvinning: frys de förtränade lagren och träna endast ett nytt klassificeringshuvud
• Finjustering: tina upp vissa eller alla lager och fortsätt träna med en låg inlärningshastighet
• Domänanpassning: justera en modell från en datadistribution till en annan, till exempel syntetisk till verklig

Stora språkmodeller har drivit detta ytterligare. En enda förtränad modell kan anpassas till juridiskt skrivande, medicinsk kodning eller kundsupport med måttlig ytterligare utbildning. Haken är negativ överföring: om käll- och måluppgifterna är för olika kan de förtränade vikterna skada snarare än hjälpa.