使用足夠的文字訓練Transformer模型後，它的功能就不再局限於預測下一個單字了。大型語言模型可以產生文章、回答問題、寫程式碼，以及進行語言間的翻譯。參數和資料的規模是其能力的關鍵。

這些模型透過數十億個詞元學習統計模式。它們並不將事實儲存在資料庫中。知識分佈在不同的權重上，這就是為什麼它們既能流暢運作又能犯錯的原因。幻覺是這種架構的自然結果，而不是需要修復的漏洞。

通用能力

• 文字產生與摘要
• 問答與推理
• 翻譯和改寫
• 程式碼生成和偵錯
• 對話互動

部署會帶來諸多問題。訓練成本高達數百萬美元。大規模推理成本也很高。訓練資料也涉及版權和隱私問題。雖然對齊工作試圖引導模型行為，但沒有任何方法可以保證模型始終按預期響應。