يُبنى النموذج من خلال التدريب، ويستخدمه الاستدلال. بمجرد تثبيت الأوزان، تستقبل الشبكة مدخلات جديدة وتُنتج مخرجات، سواء كانت تصنيفًا أو احتمالًا أو جملة مُولّدة. لا تحدث أي تحديثات للتدرج هنا.

تتجلى الجوانب الاقتصادية للذكاء الاصطناعي في مرحلة الاستدلال. يتم التدريب مرة واحدة، وأحيانًا على مدى أسابيع. أما الاستدلال فيتم ملايين المرات، غالبًا ضمن حدود زمنية تُقاس بالمللي ثانية. النموذج البطيء جدًا في الاستجابة في نافذة الدردشة أو على الهاتف عديم الفائدة، مهما بلغت دقته.

إعدادات الاستدلال الشائعة

• الاستدلال الدفعي للمعالجة غير المتصلة بالإنترنت
• الاستدلال في الوقت الحقيقي للتطبيقات التفاعلية
• الاستدلال على الحافة على الأجهزة المحلية
• استدلال الخادم في مراكز البيانات

يركز التحسين على الإنتاجية وزمن الاستجابة. وتستهدف عمليات التكميم والتقليم والأجهزة المتخصصة مسار الاستدلال. وقد يتصرف النموذج نفسه بشكل مختلف تمامًا اعتمادًا على كيفية تقديمه.