A lebegőpontos számok pontosak, de nehezek. A kvantálás csökkenti a modell súlyainak és aktiválásainak numerikus pontosságát, jellemzően 32 bites lebegőpontos számokról 8 bites vagy 4 bites egész számokra. A modell zsugorodik, gyorsabban fut és kevesebb energiát fogyaszt.

A kompromisszum a pontosság. Az agresszív kvantálás rontja a kimeneti minőséget, különösen azoknál a feladatoknál, amelyek finom numerikus megkülönböztetést igényelnek. A betanítás utáni kvantálás olcsó, de veszteséges. A kvantálást figyelembe vevő betanítás alacsony pontosságot szimulál a betanítás során, és az elveszett pontosság nagy részét visszanyeri.

Gyakori kvantálási szintek

• 16 bites lebegőpontos, kismértékű tömörítés
• 8 bites egész szám, széles körben használják következtetésre
• 4 bites egész szám, agresszív, de körültekintően megvalósítható
• Bináris és ternáris, kísérleti

A hardveres támogatás változó. Egyes gyorsítók natívan kezelik a 8 bitet, és nagy gyorsulást biztosítanak. Mások lassabb utakat választanak. A kvantálási séma kiválasztása ugyanúgy függ a telepítési céltól, mint a modelltől.