O treino constrói o modelo. A inferência utiliza-o. Uma vez definidos os pesos, a rede recebe novas entradas e produz uma saída, seja ela um rótulo, uma probabilidade ou uma frase gerada. Não há atualizações de gradiente nesta etapa.

A inferência é onde a economia da IA ​​se manifesta. O treino ocorre uma única vez, por vezes ao longo de semanas. A inferência ocorre milhões de vezes, frequentemente com limites de latência medidos em milissegundos. Um modelo demasiado lento para responder numa janela de chat ou num telefone é inútil, independentemente de quão preciso seja.

Configurações comuns de inferência

• Inferência em batch para processamento offline
• Inferência em tempo real para aplicações interactivas
• Inferência de arestas em dispositivos locais
• Inferência de servidores em centros de dados

A otimização concentra-se na taxa de transferência e na latência. A quantização, a poda e o hardware especializado visam o caminho de inferência. O mesmo modelo pode comportar-se de forma muito diferente dependendo da forma como é servido.