Träning bygger modellen. Inferens använder den. När vikterna är fasta tar nätverket ny indata och producerar utdata, oavsett om det är en etikett, en sannolikhet eller en genererad mening. Inga gradientuppdateringar sker här.

Det är inferens som AI:s ekonomi visar sig. Träning sker en gång, ibland över flera veckor. Inferens sker miljontals gånger, ofta under latensbudgetar mätta i millisekunder. En modell som är för långsam för att svara i ett chattfönster eller på en telefon är värdelös, oavsett hur exakt den är.

Vanliga inferensinställningar

• Batchinferens för offline-bearbetning
• Realtidsinferens för interaktiva applikationer
• Kantinferens på lokala enheter
• Serverinferens i datacenter

Optimering fokuserar på dataflöde och latens. Kvantisering, beskärning och specialiserad hårdvara riktar sig alla mot inferensvägen. Samma modell kan bete sig väldigt olika beroende på hur den serveras.