Los números de coma flotante son precisos pero pesados. La cuantización reduce la precisión numérica de los pesos y las activaciones del modelo, generalmente de coma flotante de 32 bits a enteros de 8 o 4 bits. El modelo se reduce, se ejecuta más rápido y consume menos energía.

La desventaja radica en la precisión. La cuantización agresiva reduce la calidad de la salida, especialmente en tareas que requieren distinciones numéricas precisas. La cuantización posterior al entrenamiento es económica, pero conlleva pérdidas. El entrenamiento con consideración de la cuantización simula una baja precisión durante el entrenamiento, recuperando gran parte de la exactitud perdida.

Niveles de cuantificación comunes

• Punto flotante de 16 bits, compresión menor
• Entero de 8 bits, ampliamente utilizado para inferencia
• Entero de 4 bits, agresivo pero factible con cuidado.
• Binario y ternario, experimental

La compatibilidad con el hardware varía. Algunos aceleradores manejan 8 bits de forma nativa y ofrecen grandes mejoras de velocidad. Otros recurren a métodos más lentos. La elección de un esquema de cuantización depende tanto del entorno de implementación como del modelo.