Training bouwt het model op. Inferentie gebruikt het. Zodra de gewichten vaststaan, neemt het netwerk nieuwe invoer en produceert uitvoer, of dat nu een label, een waarschijnlijkheid of een gegenereerde zin is. Er vinden hier geen gradiëntupdates plaats.

Inferentie is waar de economische aspecten van AI zich openbaren. Training vindt eenmalig plaats, soms gedurende weken. Inferentie vindt miljoenen keren plaats, vaak met een latentie die in milliseconden wordt gemeten. Een model dat te traag reageert in een chatvenster of op een telefoon is nutteloos, hoe nauwkeurig het ook is.

Algemene inferentie-instellingen

• Batch-inferentie voor offline verwerking
• Realtime inferentie voor interactieve toepassingen
• Edge-inferentie op lokale apparaten
• Serverinferentie in datacenters

Optimalisatie richt zich op doorvoer en latentie. Kwantisatie, snoeien en gespecialiseerde hardware zijn allemaal gericht op het inferentiepad. Hetzelfde model kan zich heel anders gedragen, afhankelijk van hoe het wordt aangeboden.