A nagy modellek nyerik a benchmarkokat. A kis modellek sikeresek. A modellek tömörítése csökkenti a méretet és a számítási igényt, miközben megőrzi az eredeti pontosság nagy részét, így a telepítés megvalósítható telefonokon, beágyazott eszközökön és költségérzékeny szervereken.

Több technika kombinálódik. A metszés eltávolítja a kis mértékben hozzájáruló súlyokat. A kvantálás csökkenti a numerikus pontosságot. A desztilláció kisebb tanulókat képez. Az alacsony rangú faktorizáció súlymátrixokat bont fel. A gyakorlatban a mérnökök ezeket a módszereket egymásra helyezik.

Gyakori tömörítési módszerek

• Lényegtelen súlyok vagy neuronok metszése
• Kvantálás 8 bitre vagy alacsonyabbra
• Tudásdesztilláció kisebb diákoknak
• Alacsony rangú mátrixfelbontás
• Építészeti kutatás hatékony tervekért

A tömörítésnek vannak korlátai. A pontosság romlik, és az agresszív módszerek olyan módon befolyásolhatják a viselkedést, ami csak ritka bemenetek esetén jelentkezik. A reprezentatív adatokon végzett benchmarking a tömörítés előtt és után elengedhetetlen.