Los modelos grandes ganan en las pruebas de rendimiento. Los modelos pequeños se implementan. La compresión de modelos reduce el tamaño y el procesamiento, conservando la mayor parte de la precisión original, lo que hace que la implementación sea viable en teléfonos, dispositivos integrados y servidores con presupuestos ajustados.

Se combinan varias técnicas. La poda elimina los pesos que aportan poco. La cuantización reduce la precisión numérica. La destilación entrena a un estudiante más pequeño. La factorización de bajo rango descompone las matrices de pesos. En la práctica, los ingenieros combinan estos métodos.

Métodos de compresión comunes

• Poda de pesos o neuronas no importantes
• Cuantización a 8 bits o inferior
• Destilación del conocimiento para estudiantes más pequeños
• Descomposición de matrices de bajo rango
• Búsqueda de arquitectura de diseños eficientes

La compresión tiene sus límites. La precisión disminuye y los métodos agresivos pueden alterar el comportamiento de maneras que solo se manifiestan en raras ocasiones. Es fundamental realizar pruebas comparativas con datos representativos antes y después de la compresión.