Entrenar un transformador con suficiente texto hace que empiece a hacer más que predecir la siguiente palabra. Los modelos de lenguaje complejos generan ensayos, responden preguntas, escriben código y traducen entre idiomas. La escala, tanto en parámetros como en datos, determina su capacidad.

Estos modelos aprenden patrones estadísticos a partir de miles de millones de tokens. No almacenan información en una base de datos. El conocimiento se distribuye entre ponderaciones, por lo que pueden ser precisos y erróneos a la vez. La ambigüedad es una consecuencia natural de la arquitectura, no un error que deba corregirse.

Capacidades comunes

• Generación y resumen de textos
• Responder preguntas y razonar
• Traducción y reescritura
• Generación de código y depuración
• Interacción conversacional

El despliegue plantea problemas. El entrenamiento cuesta millones de dólares. La inferencia es costosa a gran escala. Los datos de entrenamiento conllevan preocupaciones sobre derechos de autor y privacidad. El trabajo de alineación intenta guiar el comportamiento, pero ningún método garantiza que el modelo siempre responda como se espera.