Các mô hình lớn giành chiến thắng trong các bài kiểm tra hiệu năng. Các mô hình nhỏ dễ dàng triển khai. Nén mô hình giúp giảm kích thước và tài nguyên tính toán trong khi vẫn giữ được hầu hết độ chính xác ban đầu, giúp việc triển khai khả thi trên điện thoại, thiết bị nhúng và máy chủ có chi phí thấp.

Một số kỹ thuật được kết hợp với nhau. Cắt tỉa loại bỏ các trọng số đóng góp rất ít. Lượng tử hóa làm giảm độ chính xác số học. Chưng cất huấn luyện một học sinh nhỏ hơn. Phân tích nhân tử hạng thấp phân rã các ma trận trọng số. Trên thực tế, các kỹ sư thường kết hợp các phương pháp này.

Các phương pháp nén thông thường

• Loại bỏ các trọng số hoặc nơron không quan trọng
• Lượng tử hóa xuống 8 bit hoặc thấp hơn
• Chắt lọc kiến ​​thức cho học sinh nhỏ tuổi hơn
• Phân rã ma trận hạng thấp
• Kiến trúc tìm kiếm các thiết kế hiệu quả

Nén dữ liệu có những hạn chế. Độ chính xác giảm đi, và các phương pháp nén mạnh có thể làm thay đổi hành vi theo những cách chỉ xuất hiện trên các dữ liệu đầu vào hiếm gặp. Việc đánh giá hiệu năng trên dữ liệu đại diện trước và sau khi nén là rất cần thiết.