Τα μεγάλα μοντέλα κερδίζουν benchmarks. Τα μικρά μοντέλα αποστέλλονται. Η συμπίεση μοντέλων μειώνει το μέγεθος και τον υπολογισμό, διατηρώντας παράλληλα το μεγαλύτερο μέρος της αρχικής ακρίβειας, καθιστώντας εφικτή την ανάπτυξη σε τηλέφωνα, ενσωματωμένες συσκευές και διακομιστές που είναι ευαίσθητοι στο κόστος.

Αρκετές τεχνικές συνδυάζονται. Η κλάδεμα αφαιρεί τα βάρη που συμβάλλουν ελάχιστα. Η κβάντωση μειώνει την αριθμητική ακρίβεια. Η απόσταξη εκπαιδεύει έναν μικρότερο μαθητή. Η παραγοντοποίηση χαμηλής τάξης αποσυνθέτει τους πίνακες βαρών. Στην πράξη, οι μηχανικοί συνδυάζουν αυτές τις μεθόδους.

Κοινές μέθοδοι συμπίεσης

• Κλάδεμα ασήμαντων βαρών ή νευρώνων
• Κβαντοποίηση σε 8-bit ή χαμηλότερα
• Απόσταξη γνώσης σε μικρότερους μαθητές
• Αποσύνθεση πίνακα χαμηλής τάξης
• Αρχιτεκτονική αναζήτηση για αποτελεσματικά σχέδια

Η συμπίεση έχει όρια. Η ακρίβεια υποβαθμίζεται και οι επιθετικές μέθοδοι μπορούν να διαταράξουν τη συμπεριφορά με τρόπους που εμφανίζονται μόνο σε σπάνιες εισόδους. Η συγκριτική αξιολόγηση αντιπροσωπευτικών δεδομένων πριν και μετά τη συμπίεση είναι απαραίτητη.