Modelele mari câștigă teste de performanță. Modelele mici sunt livrate direct. Compresia modelelor reduce dimensiunea și puterea de calcul, păstrând în același timp cea mai mare parte a preciziei originale, ceea ce face ca implementarea să fie fezabilă pe telefoane, dispozitive integrate și servere sensibile la costuri.

Mai multe tehnici se combină. Tăierea elimină ponderile care contribuie puțin. Cuantizarea reduce precizia numerică. Distilarea antrenează un student mai mic. Factorizarea de rang scăzut descompune matricile de ponderi. În practică, inginerii combină aceste metode.

Metode comune de compresie

• Eliminarea ponderilor sau neuronilor neimportanti
• Cuantizare la 8 biți sau mai puțin
• Distilarea cunoștințelor pentru elevii mai mici
• Descompunerea matricei de rang inferior
• Căutarea arhitecturii pentru designuri eficiente

Compresia are limite. Precizia se degradează, iar metodele agresive pot perturba comportamentul în moduri care apar doar pe intrări rare. Analiza comparativă pe date reprezentative înainte și după compresie este esențială.