训练过程构建模型，推理过程则使用该模型。一旦权重确定，网络就会接收新的输入并生成输出，输出可以是标签、概率或生成的句子。此过程中不会进行梯度更新。

推理环节体现了人工智能的经济性。训练只需一次，有时耗时数周。而推理则要进行数百万次，而且往往需要在毫秒级的延迟限制下进行。无论模型多么精准，如果反应速度慢到无法在聊天窗口或手机上响应，那就毫无用处。

常见的推理设置

• 用于离线处理的批量推理
• 用于交互式应用的实时推理
• 本地设备上的边缘推断
• 数据中心中的服务器推理

优化主要集中在吞吐量和延迟上。量化、剪枝和专用硬件都旨在优化推理路径。同一个模型在不同的部署方式下，其性能可能会截然不同。