Οι αριθμοί κινητής υποδιαστολής είναι ακριβείς αλλά έχουν μεγάλο βάρος. Η κβάντωση μειώνει την αριθμητική ακρίβεια των βαρών και των ενεργοποιήσεων του μοντέλου, συνήθως από κινητήρες 32-bit σε ακέραιους 8-bit ή 4-bit. Το μοντέλο συρρικνώνεται, εκτελείται πιο γρήγορα και καταναλώνει λιγότερη ενέργεια.

Το αντάλλαγμα είναι η ακρίβεια. Η επιθετική κβαντοποίηση υποβαθμίζει την ποιότητα του αποτελέσματος, ειδικά σε εργασίες που απαιτούν λεπτές αριθμητικές διακρίσεις. Η κβαντοποίηση μετά την εκπαίδευση είναι φθηνή αλλά με απώλειες. Η εκπαίδευση με επίγνωση της κβαντοποίησης προσομοιώνει χαμηλή ακρίβεια κατά τη διάρκεια της εκπαίδευσης, ανακτώντας μεγάλο μέρος της χαμένης ακρίβειας.

Κοινά επίπεδα κβάντωσης

• 16-bit κινητής υποδιαστολής, μικρή συμπίεση
• Ακέραιος αριθμός 8 bit, που χρησιμοποιείται ευρέως για συμπερασματολογία
• Ακέραιος αριθμός 4-bit, επιθετικός αλλά εφικτός με προσοχή
• Δυαδικό και τριαδικό, πειραματικό

Η υποστήριξη υλικού ποικίλλει. Ορισμένοι επιταχυντές χειρίζονται εγγενώς τα 8-bit και προσφέρουν μεγάλες επιταχύνσεις. Άλλοι καταφεύγουν σε πιο αργές διαδρομές. Η επιλογή ενός σχήματος κβαντοποίησης εξαρτάται τόσο από τον στόχο ανάπτυξης όσο και από το μοντέλο.