Kayan noktalı sayılar hassastır ancak ağırdır. Nicelleştirme, model ağırlıklarının ve aktivasyonlarının sayısal hassasiyetini, genellikle 32 bit kayan noktalı sayılardan 8 bit veya 4 bit tamsayılara düşürür. Model küçülür, daha hızlı çalışır ve daha az güç tüketir.

Buradaki ödünleşme doğruluktur. Agresif niceleme, özellikle ince sayısal ayrımlar gerektiren görevlerde çıktı kalitesini düşürür. Eğitim sonrası niceleme ucuzdur ancak kayba neden olur. Nicelemeyi dikkate alan eğitim, eğitim sırasında düşük hassasiyeti simüle ederek kaybedilen doğruluğun büyük bir kısmını geri kazandırır.

Ortak niceleme seviyeleri

• 16 bit kayan nokta, hafif sıkıştırma
• Çıkarım işlemlerinde yaygın olarak kullanılan 8 bitlik tamsayı.
• 4 bitlik tamsayı, agresif ancak dikkatli kullanıldığında mümkün.
• İkili ve üçlü, deneysel

Donanım desteği değişiklik gösterir. Bazı hızlandırıcılar 8 bit'i doğal olarak işler ve büyük hız artışları sağlar. Diğerleri ise daha yavaş yollara başvurur. Nicelleştirme şemasının seçimi, model kadar dağıtım hedefine de bağlıdır.