Model besar memenangkan benchmark. Model kecil lebih mudah dipasarkan. Kompresi model mengurangi ukuran dan komputasi sambil mempertahankan sebagian besar akurasi aslinya, sehingga memungkinkan penerapan pada ponsel, perangkat tertanam, dan server yang sensitif terhadap biaya.

Beberapa teknik digabungkan. Pemangkasan menghilangkan bobot yang kontribusinya kecil. Kuantisasi mengurangi presisi numerik. Distilasi melatih siswa yang lebih kecil. Faktorisasi peringkat rendah menguraikan matriks bobot. Dalam praktiknya, para insinyur menggabungkan metode-metode ini.

Metode kompresi umum

• Memangkas bobot atau neuron yang tidak penting
• Kuantisasi ke 8-bit atau lebih rendah
• Penyaringan pengetahuan kepada kelompok siswa yang lebih kecil.
• Dekomposisi matriks peringkat rendah
• Pencarian arsitektur untuk desain yang efisien.

Kompresi memiliki batasan. Akurasi menurun, dan metode yang agresif dapat merusak perilaku dengan cara yang hanya muncul pada input yang jarang terjadi. Pengujian kinerja pada data representatif sebelum dan sesudah kompresi sangat penting.