Store modeller vinner benchmarks. Små modeller leveres. Modellkomprimering reduserer størrelse og beregningsevne samtidig som den bevarer mesteparten av den opprinnelige nøyaktigheten, noe som gjør distribusjon mulig på telefoner, innebygde enheter og kostnadssensitive servere.

Flere teknikker kombineres. Beskjæring fjerner vekter som bidrar lite. Kvantisering reduserer numerisk presisjon. Destillasjon trener en mindre student. Lavrangfaktorisering dekomponerer vektmatriser. I praksis stabler ingeniører disse metodene.

Vanlige komprimeringsmetoder

• Beskjæring av uviktige vekter eller nevroner
• Kvantisering til 8-bit eller lavere
• Kunnskapsdestillasjon til mindre elever
• Lavrangert matrisedekomponering
• Arkitektursøk etter effektive design

Komprimering har sine begrensninger. Nøyaktigheten forringes, og aggressive metoder kan ødelegge atferd på måter som bare vises på sjeldne input. Benchmarking på representative data før og etter komprimering er viktig.