El entrenamiento construye el modelo. La inferencia lo utiliza. Una vez que se fijan los pesos, la red recibe una nueva entrada y produce una salida, ya sea una etiqueta, una probabilidad o una oración generada. Aquí no se realizan actualizaciones de gradiente.

La inferencia es donde se manifiestan los aspectos económicos de la IA. El entrenamiento se realiza una sola vez, a veces durante semanas. La inferencia se lleva a cabo millones de veces, a menudo con latencias que se miden en milisegundos. Un modelo demasiado lento para responder en una ventana de chat o en un teléfono es inútil, por muy preciso que sea.

Configuración de inferencia común

• Inferencia por lotes para procesamiento fuera de línea
• Inferencia en tiempo real para aplicaciones interactivas
• Inferencia de borde en dispositivos locales
• Inferencia de servidores en centros de datos

La optimización se centra en el rendimiento y la latencia. La cuantización, la poda y el hardware especializado se dirigen a la ruta de inferencia. Un mismo modelo puede comportarse de forma muy diferente según cómo se procese.