Čísla s plovoucí desetinnou čárkou jsou přesná, ale náročná na výpočty. Kvantizace snižuje numerickou přesnost vah a aktivací modelu, obvykle z 32bitových čísel s plovoucí desetinnou čárkou na 8bitová nebo 4bitová celá čísla. Model se zmenšuje, běží rychleji a spotřebovává méně energie.

Nevýhodou je přesnost. Agresivní kvantizace snižuje kvalitu výstupu, zejména u úloh, které vyžadují jemné numerické rozlišení. Kvantizace po trénování je levná, ale ztrátová. Trénování s ohledem na kvantizaci simuluje nízkou přesnost během trénování a obnovuje velkou část ztracené přesnosti.

Běžné úrovně kvantizace

• 16bitová operace s plovoucí desetinnou čárkou, drobná komprese
• 8bitové celé číslo, široce používané pro inferenci
• 4bitové celé číslo, agresivní, ale s opatrností proveditelné
• Binární a ternární, experimentální

Hardwarová podpora se liší. Některé akcelerátory zpracovávají 8bitovou grafiku nativně a dosahují velkých zrychlení. Jiné se uchylují k pomalejším cestám. Výběr kvantizačního schématu závisí stejně tak na cíli nasazení jako na modelu.