Ha elegendő szövegen betanítasz egy transzformátort, az máris többet fog tudni, mint pusztán a következő szó megjóslása. A nagy nyelvi modellek esszéket generálnak, kérdésekre válaszolnak, kódot írnak és nyelvek között fordítanak. A skálázhatóság, mind a paraméterek, mind az adatok tekintetében, ösztönzi a képességeket.

Ezek a modellek több milliárd tokenen keresztül tanulnak statisztikai mintákat. Nem tárolnak tényeket adatbázisban. A tudás súlyok között oszlik meg, ezért lehetnek egyszerre gördülékenyek és tévesek. A hallucináció az architektúra természetes következménye, nem pedig egy javítandó hiba.

Közös képességek

• Szöveggenerálás és -összefoglalás
• Kérdések megválaszolása és indoklása
• Fordítás és átírás
• Kódgenerálás és hibakeresés
• Beszélgetési interakció

A telepítés problémákat vet fel. A betanítás dollármilliókba kerül. A következtetés nagy léptékben is költséges. A betanítási adatokkal kapcsolatban szerzői jogi és adatvédelmi aggályok is felmerülnek. Az összehangolási munka megpróbálja irányítani a viselkedést, de egyetlen módszer sem garantálja, hogy a modell mindig a kívánt módon fog reagálni.