Treine um Transformer com texto suficiente e ele começará a fazer mais do que prever a palavra seguinte. Os grandes modelos de linguagem geram redações, respondem a perguntas, escrevem código e traduzem entre línguas. A escala, tanto em parâmetros como em dados, impulsiona a capacidade.

Estes modelos aprendem padrões estatísticos a partir de milhares de milhões de tokens. Não armazenam factos em um banco de dados. O conhecimento está distribuído entre pesos, e é por isso que podem ser fluentes e errados ao mesmo tempo. A alucinação é uma consequência natural da arquitetura, não um bug a corrigir.

Capacidades comuns

• Geração e sumarização de texto
• Resposta a perguntas e raciocínio
• Tradução e reescrita
• Geração e depuração de código
• Interação conversacional

A implementação levanta questões. O treino custa milhões de dólares. A inferência é dispendiosa em grande escala. Questões de direitos de autor e privacidade acompanham os dados de formação. O trabalho de alinhamento tenta direcionar o comportamento, mas nenhum método garante que o modelo responda sempre como esperado.