Büyük modeller kıyaslama testlerinde kazanır. Küçük modeller piyasaya sürülür. Model sıkıştırma, orijinal doğruluğun çoğunu korurken boyutu ve işlem gücünü azaltır; bu da telefonlarda, gömülü cihazlarda ve maliyet hassasiyeti yüksek sunucularda dağıtımı mümkün kılar.

Birkaç teknik bir araya getirilir. Budama, az katkı sağlayan ağırlıkları kaldırır. Nicelleştirme, sayısal hassasiyeti azaltır. Damıtma, daha küçük bir öğrenciyi eğitir. Düşük dereceli faktörleştirme, ağırlık matrislerini ayrıştırır. Pratikte, mühendisler bu yöntemleri bir araya getirir.

Yaygın sıkıştırma yöntemleri

• Önemsiz ağırlıkların veya nöronların budanması
• 8 bit veya daha düşük niceleme
• Bilginin daha küçük öğrencilere aktarılması
• Düşük dereceli matris ayrıştırması
• Mimari, verimli tasarımlar arayışında.

Sıkıştırmanın sınırları vardır. Doğruluk azalır ve agresif yöntemler, yalnızca nadir girdilerde ortaya çıkan şekillerde davranış bozukluklarına yol açabilir. Sıkıştırmadan önce ve sonra temsili veriler üzerinde kıyaslama yapmak çok önemlidir.