訓練過程建構模型，推理過程則使用模型。一旦權重確定，網路就會接收新的輸入並產生輸出，輸出可以是標籤、機率或產生的句子。此過程中不會進行梯度更新。

推理環節體現了人工智慧的經濟性。訓練只需一次，有時耗時數週。而推理則要進行數百萬次，而且往往需要在毫秒級的延遲限制下進行。無論模型多麼精準，如果反應速度慢到無法在聊天視窗或手機上回應，那就毫無用處。

常見的推理設置

• 用於離線處理的批量推理
• 用於互動式應用的即時推理
• 本地設備上的邊緣推斷
• 資料中心中的伺服器推理

優化主要集中在吞吐量和延遲。量化、剪枝和專用硬體都旨在優化推理路徑。同一個模型在不同的部署方式下，其效能可能會截然不同。