Velké modely vítězí v benchmarkech. Malé modely se dodávají. Komprese modelů snižuje velikost a výpočetní nároky a zároveň zachovává většinu původní přesnosti, což umožňuje nasazení na telefonech, vestavěných zařízeních a cenově dostupných serverech.

Několik technik se kombinuje. Prořezávání odstraňuje váhy, které přispívají jen málo. Kvantizace snižuje numerickou přesnost. Destilace školí menšího studenta. Faktorizace s nízkým pořadím rozkládá váhové matice. V praxi inženýři tyto metody kombinují.

Běžné metody komprese

• Prořezávání nedůležitých vah nebo neuronů
• Kvantizace na 8 bitů nebo méně
• Zprostředkování znalostí menším studentům
• Rozklad matice nízkého řádu
• Architektonické hledání efektivních návrhů

Komprese má své limity. Přesnost se snižuje a agresivní metody mohou narušit chování způsoby, které se objevují pouze u vzácných vstupů. Benchmarking na reprezentativních datech před a po kompresi je nezbytný.