使用足够多的文本训练Transformer模型后，它的功能就不再局限于预测下一个单词了。大型语言模型可以生成文章、回答问题、编写代码，以及进行语言间的翻译。参数和数据的规模是其能力的关键所在。

这些模型通过数十亿个词元学习统计模式。它们并不将事实存储在数据库中。知识分布在不同的权重上，这就是为什么它们既能流畅运行又能犯错的原因。幻觉是这种架构的自然结果，而不是需要修复的漏洞。

通用能力

• 文本生成与摘要
• 问答与推理
• 翻译和改写
• 代码生成和调试
• 对话互动

部署会带来诸多问题。训练成本高达数百万美元。大规模推理成本也很高。训练数据还涉及版权和隐私问题。虽然对齐工作试图引导模型行为，但没有任何方法能够保证模型始终按预期响应。