浮点数虽然精确，但计算量很大。量化会降低模型权重和激活值的数值精度，通常从 32 位浮点数降至 8 位或 4 位整数。这样一来，模型体积更小、运行速度更快、功耗更低。

权衡之处在于精度。激进的量化会降低输出质量，尤其是在需要精细数值区分的任务中。训练后量化成本低但有损。量化感知训练会在训练过程中模拟低精度，从而恢复大部分损失的精度。

常用量化级别

• 16 位浮点运算，轻微压缩
• 8 位整数，广泛用于推理
• 4 位整数，虽然激进，但谨慎使用是可行的。
• 二元和三元，实验性的

硬件支持情况各不相同。一些加速器原生支持 8 位运算，可显著提升速度。而另一些加速器则会回退到速度较慢的运算路径。量化方案的选择不仅取决于模型本身，还取决于部署目标。