बड़े मॉडल बेंचमार्क में बेहतर प्रदर्शन करते हैं। छोटे मॉडल आसानी से इस्तेमाल किए जा सकते हैं। मॉडल कम्प्रेशन से आकार और कंप्यूटिंग क्षमता कम हो जाती है, जबकि मूल सटीकता लगभग पूरी तरह बरकरार रहती है, जिससे फोन, एम्बेडेड डिवाइस और लागत-संवेदनशील सर्वरों पर इनका उपयोग संभव हो जाता है।

कई तकनीकें एक साथ काम करती हैं। प्रूनिंग उन भारों को हटा देती है जिनका योगदान कम होता है। क्वांटाइजेशन संख्यात्मक सटीकता को कम करता है। डिस्टिलेशन एक छोटा स्टूडेंट मैट्रिक्स तैयार करता है। लो-रैंक फैक्टराइजेशन भार मैट्रिक्स को विघटित करता है। व्यवहार में, इंजीनियर इन विधियों का एक साथ उपयोग करते हैं।

सामान्य संपीड़न विधियाँ

• अनावश्यक भार या न्यूरॉन्स की छंटाई करना
• 8-बिट या उससे कम में परिमाणीकरण
• छोटे विद्यार्थियों के लिए ज्ञान का सारगर्भित प्रसार
• निम्न-रैंक मैट्रिक्स अपघटन
• कुशल डिजाइनों के लिए वास्तुकला की खोज

संपीड़न की सीमाएँ होती हैं। इससे सटीकता कम हो जाती है, और आक्रामक विधियाँ व्यवहार को इस तरह से बिगाड़ सकती हैं जो केवल दुर्लभ इनपुट पर ही दिखाई देती हैं। संपीड़न से पहले और बाद में प्रतिनिधि डेटा पर बेंचमार्किंग करना आवश्यक है।