Model yang dilatih untuk mengenali kucing dan anjing sudah mengetahui sesuatu tentang tepi, tekstur, dan bulu. Transfer learning memanfaatkan hal itu: alih-alih memulai dari bobot acak, Anda memulai dengan jaringan yang telah belajar dari kumpulan data besar dan menyempurnakannya pada masalah spesifik yang lebih kecil. Pengetahuan yang diperoleh pada tugas pertama ditransfer ke tugas kedua.

Pendekatan ini menjadi standar karena data berlabel langka dan komputasi mahal. Melatih model visi dari awal pada 5.000 gambar medis jarang berhasil. Mengambil jaringan yang telah dilatih sebelumnya pada ImageNet dan melatih ulang lapisan akhirnya seringkali berhasil. Lapisan awal mendeteksi fitur generik; lapisan selanjutnya melakukan spesialisasi.

Strategi umum

• Ekstraksi fitur: bekukan lapisan yang telah dilatih sebelumnya dan latih hanya kepala pengklasifikasi yang baru.
• Penyempurnaan: cairkan beberapa atau semua lapisan dan lanjutkan pelatihan dengan laju pembelajaran yang kecil.
• Adaptasi domain: menyesuaikan model dari satu distribusi data ke distribusi data lainnya, seperti data sintetis ke data nyata.

Model bahasa berskala besar telah mendorong hal ini lebih jauh. Sebuah model pra-terlatih tunggal dapat diadaptasi untuk penulisan hukum, pengkodean medis, atau dukungan pelanggan dengan pelatihan tambahan yang sederhana. Masalahnya adalah transfer negatif: jika tugas sumber dan target terlalu berbeda, bobot pra-terlatih dapat merugikan daripada membantu.