L'entraînement permet de construire le modèle. L'inférence l'utilise. Une fois les poids fixés, le réseau reçoit de nouvelles entrées et produit une sortie, qu'il s'agisse d'une étiquette, d'une probabilité ou d'une phrase générée. Aucune mise à jour du gradient n'a lieu à ce stade.

C’est au niveau de l’inférence que les enjeux économiques de l’IA se révèlent. L’entraînement a lieu une seule fois, parfois sur plusieurs semaines. L’inférence, quant à elle, se répète des millions de fois, souvent avec des latences de l’ordre de la milliseconde. Un modèle trop lent pour répondre dans une fenêtre de chat ou sur un téléphone est inutile, aussi précis soit-il.

Paramètres d'inférence courants

• Inférence par lots pour le traitement hors ligne
• Inférence en temps réel pour les applications interactives
• Inférence Edge sur les appareils locaux
• Inférence serveur dans les centres de données

L'optimisation porte sur le débit et la latence. La quantification, l'élagage et le matériel spécialisé ciblent tous le chemin d'inférence. Un même modèle peut se comporter très différemment selon la manière dont il est servi.