十分な量のテキストでトランスフォーマーを訓練すれば、次の単語を予測する以上のことができるようになります。大規模な言語モデルは、エッセイを生成したり、質問に答えたり、コードを書いたり、言語間で翻訳したりします。パラメータとデータの両面における規模が、その能力を向上させます。

これらのモデルは、数十億個のトークンにわたる統計的パターンを学習します。データベースに事実を保存するわけではありません。知識は重みに分散されるため、流暢でありながら同時に誤った判断を下すこともあります。幻覚現象はアーキテクチャの自然な結果であり、修正すべきバグではありません。

共通機能

• テキスト生成と要約
• 質問への回答と推論
• 翻訳と書き換え
• コード生成とデバッグ
• 会話によるやり取り

展開には様々な問題が伴う。トレーニングには数百万ドルの費用がかかる。大規模な推論はコストがかかる。トレーニングデータには著作権とプライバシーの問題が伴う。アライメント作業は動作を誘導しようとするが、モデルが常に意図したとおりに反応することを保証する方法はない。