Kedileri ve köpekleri tanımak üzere eğitilmiş bir model, kenarlar, dokular ve tüyler hakkında zaten bir şeyler biliyor. Transfer öğrenmesi bunu kullanır: rastgele ağırlıklardan başlamak yerine, büyük bir veri kümesinden öğrenmiş bir ağ ile başlarsınız ve onu daha küçük, özel probleminize göre ince ayar yaparsınız. İlk görevde kazanılan bilgi ikinciye aktarılır.

Bu yaklaşım standart hale geldi çünkü etiketli veri az ve işlem gücü pahalı. 5.000 tıbbi görüntü üzerinde sıfırdan bir görüntü işleme modeli eğitmek nadiren işe yarar. ImageNet üzerinde önceden eğitilmiş bir ağı alıp son katmanlarını yeniden eğitmek genellikle işe yarar. İlk katmanlar genel özellikleri algılar; sonraki katmanlar ise özelleşir.

Ortak stratejiler

• Özellik çıkarma: Önceden eğitilmiş katmanları dondurun ve yalnızca yeni bir sınıflandırıcı başlığı eğitin.
• İnce ayar: Bazı veya tüm katmanların dondurma işlemini kaldırın ve düşük bir öğrenme oranıyla eğitime devam edin.
• Alan uyarlaması: Bir modeli bir veri dağılımından diğerine uyarlamak, örneğin sentetikten gerçek verilere uyarlamak.

Büyük dil modelleri bunu daha da ileriye taşıdı. Tek bir önceden eğitilmiş model, az miktarda ek eğitimle hukuki yazım, tıbbi kodlama veya müşteri desteğine uyarlanabilir. Buradaki sorun olumsuz aktarımdır: Kaynak ve hedef görevler çok farklıysa, önceden eğitilmiş ağırlıklar yardımcı olmaktan çok zarar verebilir.