EN - FR - DE - ES - IT - PT -

LexiconDream

🎛️ ضبط دقيق

تدريب نموذج مُدرَّب مسبقًا على مجموعة بيانات أصغر خاصة بالمهمة.

ضبط دقيق

تُزوّد ​​عملية التدريب المسبق النموذج بمعرفة عامة، بينما تعمل عملية الضبط الدقيق على تخصيصه. وتستمر العملية بالتدريب على مجموعة بيانات أصغر خاصة بالمهمة، مع تعديل الأوزان لضمان أداء النموذج بشكل جيد في المجال المستهدف.

تُحدِّث عملية الضبط الدقيق الكاملة جميع المعلمات، وهو أمر مُكلف بالنسبة للنماذج الكبيرة. أما الطرق الفعّالة في استخدام المعلمات، مثل LoRA والمحولات، فتُحدِّث مجموعة فرعية صغيرة فقط، مما يُحقق نتائج مُماثلة بجزء بسيط من موارد الحوسبة.

سيناريوهات الضبط الدقيق الشائعة

قد يُسبب الضبط الدقيق مشاكل أيضًا. فقد يُفرط النموذج في التكيف مع البيانات الجديدة، مما يُفقده قدراته العامة. كما أن النسيان الكارثي يمحو المعرفة المكتسبة من التدريب المسبق. ويُساعد ضبط معدلات التعلم بعناية، ودمج البيانات، والتقييم على تخفيف هذه المخاطر.

Comments (3)

  1. Hobbyist
    Made a big difference for my domain-specific chatbot. Base model was too generic on its own.
  2. ML practitioner
    Taking a pretrained model and training it further on a smaller specific dataset. Much cheaper than training from scratch.
  3. Researcher
    Learning rate and which layers to freeze are the usual knobs. Overfitting the small set is the main risk.

Leave a comment