प्रशिक्षण से मॉडल बनता है। अनुमान लगाने की प्रक्रिया इसका उपयोग करती है। एक बार भार तय हो जाने पर, नेटवर्क नया इनपुट लेता है और आउटपुट उत्पन्न करता है, चाहे वह लेबल हो, प्रायिकता हो या उत्पन्न वाक्य हो। यहाँ कोई ग्रेडिएंट अपडेट नहीं होता है।

अनुमान लगाने की प्रक्रिया में ही कृत्रिम बुद्धिमत्ता का अर्थशास्त्र नज़र आता है। प्रशिक्षण एक बार होता है, कभी-कभी इसमें कई सप्ताह लग जाते हैं। अनुमान लगाने की प्रक्रिया लाखों बार होती है, अक्सर मिलीसेकंड में मापी जाने वाली विलंबता सीमा के भीतर। चैट विंडो या फ़ोन पर प्रतिक्रिया देने में बहुत धीमा मॉडल बेकार है, चाहे वह कितना भी सटीक क्यों न हो।

सामान्य अनुमान सेटिंग्स

• ऑफ़लाइन प्रोसेसिंग के लिए बैच अनुमान
• इंटरैक्टिव अनुप्रयोगों के लिए वास्तविक समय अनुमान
• स्थानीय उपकरणों पर एज इन्फरेंस
• डेटा केंद्रों में सर्वर अनुमान

ऑप्टिमाइज़ेशन का मुख्य उद्देश्य थ्रूपुट और लेटेंसी को बेहतर बनाना है। क्वांटाइज़ेशन, प्रूनिंग और विशेष हार्डवेयर, ये सभी इन्फ़रेंस पाथ को लक्षित करते हैं। एक ही मॉडल का व्यवहार, उसे प्रदान किए जाने के तरीके के आधार पर बहुत भिन्न हो सकता है।