عند تدريب نموذج تحويلي على كمية كافية من النصوص، يبدأ في القيام بأكثر من مجرد التنبؤ بالكلمة التالية. تُنتج نماذج اللغة الضخمة مقالات، وتجيب على الأسئلة، وتكتب برامج، وتترجم بين اللغات. ويُعدّ الحجم، سواءً في المعايير أو البيانات، هو العامل الأساسي في هذه القدرة.

تتعلم هذه النماذج أنماطًا إحصائية عبر مليارات الرموز. وهي لا تخزن الحقائق في قاعدة بيانات. تتوزع المعرفة عبر الأوزان، ولهذا السبب قد تكون دقيقة وخاطئة في الوقت نفسه. يُعدّ التشويه نتيجة طبيعية لبنية النموذج، وليس خللًا يُصلح.

القدرات المشتركة

• توليد النصوص وتلخيصها
• الإجابة على الأسئلة والاستدلال
• الترجمة وإعادة الصياغة
• توليد التعليمات البرمجية وتصحيح الأخطاء
• التفاعل الحواري

يُثير النشر بعض المشكلات. فتكلفة التدريب تصل إلى ملايين الدولارات. والاستدلال مكلف عند التوسع. كما تُصاحب بيانات التدريب مخاوف تتعلق بحقوق النشر والخصوصية. وتسعى عملية المواءمة إلى توجيه السلوك، ولكن لا توجد طريقة تضمن استجابة النموذج دائمًا كما هو مُخطط له.