Große Modelle erzielen Bestleistungen in Benchmarks. Kleine Modelle werden schnell verfügbar sein. Die Modellkomprimierung reduziert Größe und Rechenaufwand bei gleichzeitiger Beibehaltung eines Großteils der ursprünglichen Genauigkeit, wodurch der Einsatz auf Smartphones, eingebetteten Systemen und kostensensiblen Servern möglich wird.

Mehrere Techniken werden kombiniert. Durch das Entfernen von Gewichten mit geringem Beitrag werden diese reduziert. Die Quantisierung verringert die numerische Genauigkeit. Die Destillation trainiert einen kleineren Lernprozess. Die Faktorisierung mit niedrigem Rang zerlegt Gewichtsmatrizen. In der Praxis kombinieren Ingenieure diese Methoden.

Gängige Kompressionsmethoden

• Beschneiden unwichtiger Gewichte oder Neuronen
• Quantisierung auf 8 Bit oder niedriger
• Wissensvermittlung für kleinere Schülergruppen
• Matrixzerlegung niedrigen Rangs
• Architektur sucht nach effizienten Entwürfen

Die Komprimierung hat ihre Grenzen. Die Genauigkeit nimmt ab, und aggressive Methoden können das Verhalten auf eine Weise beeinträchtigen, die nur bei seltenen Eingaben auftritt. Benchmarking anhand repräsentativer Daten vor und nach der Komprimierung ist daher unerlässlich.