Trening bygger modellen. Inferens bruker den. Når vektene er fastsatt, tar nettverket ny input og produserer output, enten det er en etikett, en sannsynlighet eller en generert setning. Ingen gradientoppdateringer skjer her.

Det er inferens som viser økonomien i AI. Trening skjer én gang, noen ganger over flere uker. Inferens skjer millioner av ganger, ofte under latensbudsjetter målt i millisekunder. En modell som er for treg til å svare i et chatvindu eller på en telefon er ubrukelig, uansett hvor nøyaktig den er.

Vanlige slutningsinnstillinger

• Batch-inferens for offline-behandling
• Sanntidsinferens for interaktive applikasjoner
• Kantinferens på lokale enheter
• Serverinferens i datasentre

Optimalisering fokuserer på gjennomstrømning og latens. Kvantisering, beskjæring og spesialisert maskinvare er alle rettet mot inferensbanen. Den samme modellen kan oppføre seg svært forskjellig avhengig av hvordan den serveres.