Les modèles volumineux obtiennent de meilleurs résultats aux tests de performance. Les modèles compacts sont déployés rapidement. La compression des modèles réduit leur taille et la charge de calcul tout en préservant la majeure partie de leur précision d'origine, ce qui rend possible leur déploiement sur les téléphones, les appareils embarqués et les serveurs économiques.

Plusieurs techniques se combinent. L'élagage supprime les poids peu pertinents. La quantification réduit la précision numérique. La distillation permet d'entraîner un modèle plus petit. La factorisation de faible rang décompose les matrices de poids. En pratique, les ingénieurs combinent ces méthodes.

Méthodes de compression courantes

• Élagage des poids ou neurones non importants
• Quantification à 8 bits ou moins
• Distillation des connaissances pour des élèves plus jeunes
• Décomposition de matrices de faible rang
• Recherche architecturale de conceptions efficaces

La compression a ses limites. La précision se dégrade et les méthodes agressives peuvent perturber le comportement du système, ce qui n'apparaît que sur de rares données d'entrée. Il est donc essentiel d'effectuer des tests de performance sur des données représentatives avant et après compression.