Số thực dấu phẩy động chính xác nhưng nặng nề. Lượng tử hóa làm giảm độ chính xác số học của trọng số và kích hoạt mô hình, thường từ số thực 32 bit xuống số nguyên 8 bit hoặc 4 bit. Mô hình trở nên nhỏ gọn hơn, chạy nhanh hơn và tiêu thụ ít năng lượng hơn.

Sự đánh đổi nằm ở độ chính xác. Lượng tử hóa mạnh mẽ làm giảm chất lượng đầu ra, đặc biệt là đối với các tác vụ cần sự phân biệt số học tinh tế. Lượng tử hóa sau huấn luyện thì rẻ nhưng lại gây mất dữ liệu. Huấn luyện có nhận thức về lượng tử hóa mô phỏng độ chính xác thấp trong quá trình huấn luyện, giúp khôi phục phần lớn độ chính xác đã mất.

Mức lượng tử hóa thông thường

• Số thực dấu phẩy động 16 bit, nén nhẹ
• Số nguyên 8 bit, được sử dụng rộng rãi trong suy luận.
• Số nguyên 4 bit, mạnh mẽ nhưng khả thi nếu cẩn thận.
• Hệ nhị phân và tam phân, thực nghiệm

Khả năng hỗ trợ phần cứng rất khác nhau. Một số bộ tăng tốc xử lý 8-bit trực tiếp và mang lại tốc độ tăng đáng kể. Những bộ khác lại sử dụng các phương pháp chậm hơn. Việc lựa chọn lược đồ lượng tử hóa phụ thuộc nhiều vào mục tiêu triển khai cũng như vào chính mô hình đó.