Eğitim, modeli oluşturur. Çıkarım ise bu modeli kullanır. Ağırlıklar sabitlendikten sonra, ağ yeni girdiyi alır ve etiket, olasılık veya oluşturulmuş bir cümle gibi çıktı üretir. Burada gradyan güncellemeleri gerçekleşmez.

Yapay zekanın ekonomik yönü çıkarım aşamasında ortaya çıkar. Eğitim bir kez, bazen haftalarca sürer. Çıkarım ise milyonlarca kez, genellikle milisaniye cinsinden ölçülen gecikme süreleri altında gerçekleşir. Bir sohbet penceresinde veya telefonda yanıt veremeyecek kadar yavaş bir model, ne kadar doğru olursa olsun işe yaramaz.

Yaygın çıkarım ayarları

• Çevrimdışı işlem için toplu çıkarım
• Etkileşimli uygulamalar için gerçek zamanlı çıkarım
• Yerel cihazlarda uç nokta çıkarımı
• Veri merkezlerinde sunucu çıkarımı

Optimizasyon, verimlilik ve gecikme süresine odaklanır. Nicelleştirme, budama ve özel donanımların tümü çıkarım yolunu hedef alır. Aynı model, nasıl sunulduğuna bağlı olarak çok farklı davranabilir.