يمتلك النموذج المُدرَّب على تمييز القطط والكلاب معرفة مسبقة بالحواف والتركيبات والفراء. يستغل التعلم بالنقل هذه المعرفة: فبدلاً من البدء بأوزان عشوائية، تبدأ بشبكة تعلمت من مجموعة بيانات ضخمة، ثم تُحسِّنها لتناسب مشكلتك الأصغر والأكثر تحديدًا. تنتقل المعرفة المكتسبة من المهمة الأولى إلى الثانية.

أصبح هذا النهج معيارًا نظرًا لندرة البيانات المصنفة وارتفاع تكلفة الحوسبة. نادرًا ما ينجح تدريب نموذج رؤية من الصفر على 5000 صورة طبية. بينما غالبًا ما ينجح استخدام شبكة مدربة مسبقًا على ImageNet وإعادة تدريب طبقاتها الأخيرة. تكتشف الطبقات الأولى السمات العامة، بينما تتخصص الطبقات اللاحقة.

استراتيجيات مشتركة

• استخلاص الميزات: تجميد الطبقات المدربة مسبقًا وتدريب رأس مصنف جديد فقط
• الضبط الدقيق: قم بإلغاء تجميد بعض الطبقات أو جميعها واستمر في التدريب بمعدل تعلم منخفض
• تكييف المجال: تعديل النموذج من توزيع بيانات إلى آخر، مثل تحويل البيانات الاصطناعية إلى بيانات حقيقية.

لقد ساهمت نماذج اللغة الكبيرة في تطوير هذا المجال. إذ يُمكن تكييف نموذج واحد مُدرَّب مسبقًا للكتابة القانونية، أو الترميز الطبي، أو دعم العملاء بتدريب إضافي بسيط. لكن تكمن المشكلة في النقل السلبي: فإذا كانت مهام المصدر والهدف مختلفة جدًا، فقد تُؤدي الأوزان المُدرَّبة مسبقًا إلى نتائج عكسية بدلًا من أن تُفيد.