Stora modeller vinner riktmärken. Små modeller levereras. Modellkomprimering minskar storlek och beräkningsförmåga samtidigt som den bevarar det mesta av den ursprungliga noggrannheten, vilket gör implementering möjlig på telefoner, inbyggda enheter och kostnadskänsliga servrar.

Flera tekniker kombineras. Beskärning tar bort vikter som bidrar lite. Kvantisering minskar numerisk precision. Destillation tränar en mindre elev. Faktorisering med låg rang sönderdelar viktmatriser. I praktiken staplar ingenjörer dessa metoder.

Vanliga komprimeringsmetoder

• Beskärning av oviktiga vikter eller neuroner
• Kvantisering till 8-bitars eller lägre
• Kunskapsdestillation till mindre elever
• Lågrangig matrisnedbrytning
• Arkitektursök efter effektiva designlösningar

Komprimering har begränsningar. Noggrannheten försämras, och aggressiva metoder kan bryta beteendet på sätt som bara uppträder på sällsynta indata. Jämförelse av representativa data före och efter komprimering är avgörande.