تتعلم النماذج الكبيرة جيدًا ولكنها بطيئة التنفيذ. أما النماذج الصغيرة فتتعلم بسرعة ولكنها أقل كفاءة. يُحقق أسلوب تقطير المعرفة حلاً وسطًا من خلال تدريب نموذج طالب صغير الحجم لمحاكاة نموذج معلم أكبر، باستخدام تنبؤات المعلم غير الدقيقة بدلاً من الاعتماد على التصنيفات الدقيقة فقط.
تحمل التنبؤات المرنة معلومات أكثر. فعندما يُسند المعلم احتمالية 70% للقطة و25% للكلب، يتعلم الطالب أن القطة والكلب يشتركان في بعض الصفات. أما التصنيفات الصارمة فتشير إلى القطة فقط. هذه الإشارة الإضافية تُساعد الطالب على التعميم بشكل أفضل من التدريب على التصنيفات وحدها.
أنواع التقطير الشائعة
- التقطير القائم على الاستجابة من لوجيتات المخرجات
- التقطير القائم على الخصائص من الطبقات الوسيطة
- التقطير القائم على العلاقات من علاقات الطبقات
- التقطير الذاتي ضمن نفس البنية
تعتمد العديد من أنظمة الإنتاج على هذه التقنية. فالمساعدون المتنقلون ونماذج التوصية وأجهزة الكشف في الوقت الفعلي غالباً ما تعتمد على الطلاب المُصفّين الذين يحتفظون بمعظم دقة المعلم بجزء بسيط من التكلفة.
Comments (2)
Leave a comment