Большие модели выигрывают в бенчмарках. Маленькие модели попадают в продажу. Сжатие моделей уменьшает размер и вычислительные ресурсы, сохраняя при этом большую часть исходной точности, что делает возможным развертывание на телефонах, встроенных устройствах и экономичных серверах.

Несколько методов сочетаются друг с другом. Отсечение удаляет веса, которые мало что значат. Квантование снижает точность вычислений. Дистилляция обучает меньшего числа учеников. Низкоранговая факторизация разлагает матрицы весов. На практике инженеры комбинируют эти методы.

Распространенные методы сжатия

• Удаление неважных весов или нейронов.
• Квантование до 8 бит или ниже
• Предоставление знаний небольшим группам учащихся
• Разложение матрицы низкого ранга
• Архитектурный поиск эффективных решений.

Сжатие имеет свои пределы. Точность снижается, а агрессивные методы могут нарушать поведение системы таким образом, что это проявляется только на редких входных данных. Крайне важно проводить сравнительный анализ на репрезентативных данных до и после сжатия.