ベンチマークテストでは大規模モデルが勝利を収める。しかし、実際に出荷されるのは小規模モデルだ。モデル圧縮によってサイズと計算量を削減しながら、元の精度をほぼ維持できるため、スマートフォン、組み込み機器、コスト重視のサーバーなどへの展開が可能になる。

複数の手法が組み合わされる。枝刈りは寄与度の低い重みを除去する。量子化は数値精度を低下させる。蒸留はより小さな学生を訓練する。低ランク因子分解は重み行列を分解する。実際には、エンジニアはこれらの手法を組み合わせて使用​​する。

一般的な圧縮方法

• 重要でない重みやニューロンを剪定する
• 8ビット以下に量子化
• 少人数の生徒への知識の要約
• 低ランク行列分解
• 効率的な設計のための建築探索

圧縮には限界がある。精度は低下し、過度な圧縮手法は、まれな入力データでのみ発生するような不具合を引き起こす可能性がある。圧縮前後の代表的なデータを用いてベンチマークを行うことが不可欠である。