Egy macskák és kutyák felismerésére betanított modell már tud valamit az élekről, textúrákról és szőrzetről. Az átviteli tanulás ezt aknázza ki: a véletlenszerű súlyokból való kiindulás helyett egy olyan hálózattal kezdünk, amely egy nagy adathalmazból tanult, és finomhangoljuk azt a kisebb, konkrét problémánkra. Az első feladat során megszerzett tudás átvihető a másodikba.

A megközelítés azért vált szabvánnyá, mert a címkézett adatok szűkösek, a számítási igény pedig drága. Egy látásmodell nulláról történő betanítása 5000 orvosi képen ritkán működik. Egy ImageNet-en előképzett hálózat utolsó rétegeinek újratanítása gyakran működik. A korai rétegek általános jellemzőket észlelnek; a későbbi rétegek specializálódnak.

Gyakori stratégiák

• Jellemzőkivonás: az előre betanított rétegek rögzítése és csak egy új osztályozófej betanítása
• Finomhangolás: néhány vagy az összes réteg feloldása és a betanítás folytatása kis tanulási sebességgel
• Tartományadaptáció: egy modell átállítása egyik adateloszlásból a másikba, például szintetikusból valósba

A nagy nyelvi modellek ezt még tovább fokozták. Egyetlen előre betanított modell is adaptálható jogi szövegíráshoz, orvosi kódoláshoz vagy ügyfélszolgálathoz szerény kiegészítő képzéssel. A hátulütője a negatív transzfer: ha a forrás- és célfeladatok túl eltérőek, az előre betanított súlyok inkább árthatnak, mint segítenek.