大型模型在基准测试中胜出，而小型模型则可以投入实际应用。模型压缩能够在减少模型体积和计算量的同时，最大程度地保留原始精度，从而使其能够部署在手机、嵌入式设备和对成本要求较高的服务器上。

多种技术相结合。剪枝会移除贡献较小的权重。量化会降低数值精度。蒸馏会训练出一个规模更小的学习器。低秩分解会分解权重矩阵。在实践中，工程师会将这些方法叠加使用。

常用压缩方法

• 修剪不重要的权重或神经元
• 量化至 8 位或更低
• 将知识提炼成更小的学生群体
• 低秩矩阵分解
• 建筑界寻求高效设计

压缩是有局限性的。精度会下降，而且激进的压缩方法可能会导致一些只在极少数情况下才会出现的异常行为。因此，在压缩前后使用具有代表性的数据进行基准测试至关重要。