Store modeller vinder benchmarks. Små modeller leveres. Modelkomprimering reducerer størrelse og beregningsevne, samtidig med at det meste af den oprindelige nøjagtighed bevares, hvilket gør implementering mulig på telefoner, indlejrede enheder og omkostningsfølsomme servere.

Flere teknikker kombineres. Beskæring fjerner vægte, der bidrager lidt. Kvantisering reducerer numerisk præcision. Destillation træner en mindre elev. Lavrangsfaktorisering dekomponerer vægtmatricer. I praksis stabler ingeniører disse metoder.

Almindelige komprimeringsmetoder

• Beskæring af uvigtige vægte eller neuroner
• Kvantisering til 8-bit eller lavere
• Vidensdestillation til mindre elever
• Lavrangeret matrixnedbrydning
• Arkitektur søger efter effektive designs

Komprimering har begrænsninger. Nøjagtigheden forringes, og aggressive metoder kan ødelægge adfærd på måder, der kun forekommer ved sjældne input. Benchmarking på repræsentative data før og efter komprimering er afgørende.