फ्लोटिंग पॉइंट संख्याएँ सटीक होती हैं लेकिन भारी होती हैं। क्वांटाइजेशन मॉडल के भार और सक्रियणों की संख्यात्मक सटीकता को कम करता है, आमतौर पर 32-बिट फ्लोट से 8-बिट या 4-बिट पूर्णांकों तक। इससे मॉडल का आकार छोटा हो जाता है, यह तेज़ी से चलता है और कम बिजली की खपत करता है।

इसमें सटीकता से समझौता करना पड़ता है। आक्रामक क्वांटाइजेशन से आउटपुट की गुणवत्ता कम हो जाती है, खासकर उन कार्यों में जिनमें सूक्ष्म संख्यात्मक अंतर की आवश्यकता होती है। प्रशिक्षण के बाद क्वांटाइजेशन सस्ता है लेकिन इससे डेटा हानि होती है। क्वांटाइजेशन-जागरूक प्रशिक्षण, प्रशिक्षण के दौरान कम परिशुद्धता का अनुकरण करता है, जिससे खोई हुई सटीकता का अधिकांश भाग पुनः प्राप्त हो जाता है।

सामान्य परिमाणीकरण स्तर

• 16-बिट फ्लोटिंग पॉइंट, मामूली संपीड़न
• 8-बिट पूर्णांक, जिसका व्यापक रूप से अनुमान लगाने के लिए उपयोग किया जाता है
• 4-बिट पूर्णांक, आक्रामक लेकिन सावधानी से संभव।
• बाइनरी और टर्नरी, प्रायोगिक

हार्डवेयर सपोर्ट अलग-अलग होता है। कुछ एक्सेलरेटर 8-बिट को सहजता से संभालते हैं और गति में काफी वृद्धि प्रदान करते हैं। अन्य धीमे तरीकों का सहारा लेते हैं। क्वांटाइजेशन स्कीम का चुनाव मॉडल के साथ-साथ तैनाती के लक्ष्य पर भी निर्भर करता है।