Grote modellen winnen benchmarks. Kleine modellen worden uitgebracht. Modelcompressie vermindert de omvang en rekenkracht, terwijl de oorspronkelijke nauwkeurigheid grotendeels behouden blijft. Dit maakt implementatie mogelijk op telefoons, embedded systemen en kostenefficiënte servers.

Verschillende technieken worden gecombineerd. Snoeien verwijdert gewichten die weinig bijdragen. Kwantisatie vermindert de numerieke precisie. Destillatie traint een kleinere leerling. Laag-rangfactorisatie ontleedt gewichtsmatrices. In de praktijk stapelen ingenieurs deze methoden op elkaar.

Gangbare compressiemethoden

• Het snoeien van onbelangrijke gewichten of neuronen
• Kwantisatie naar 8-bit of lager
• Kennis destilleren tot kleinere leerlingen
• Laag-rang matrixontbinding
• Architectuur zoekt naar efficiënte ontwerpen.

Compressie kent zijn beperkingen. De nauwkeurigheid neemt af en agressieve methoden kunnen gedrag verstoren op manieren die alleen bij zeldzame invoergegevens voorkomen. Benchmarking met representatieve gegevens vóór en na compressie is essentieel.