Flytall er presise, men tunge. Kvantisering reduserer den numeriske presisjonen til modellvekter og aktiveringer, vanligvis fra 32-bits flyttall til 8-bits eller 4-bits heltall. Modellen krymper, kjører raskere og bruker mindre strøm.

Avveiningen er nøyaktighet. Aggressiv kvantisering forringer utskriftskvaliteten, spesielt på oppgaver som krever fine numeriske distinksjoner. Kvantisering etter trening er billig, men tapsgivende. Kvantiseringsbevisst trening simulerer lav presisjon under trening, og gjenoppretter mye av den tapte nøyaktigheten.

Vanlige kvantiseringsnivåer

• 16-bit flyttall, mindre komprimering
• 8-bits heltall, mye brukt til inferens
• 4-bits heltall, aggressivt, men gjennomførbart med forsiktighet
• Binær og ternær, eksperimentell

Maskinvarestøtten varierer. Noen akseleratorer håndterer 8-bits data direkte og gir store hastighetsøkninger. Andre bruker tregere baner. Valg av kvantiseringsskjema avhenger like mye av distribusjonsmålet som av modellen.