Natrénujte transformátor na dostatečném množství textu a začne dělat víc než jen předpovídat další slovo. Velké jazykové modely generují eseje, odpovídají na otázky, píší kód a překládají mezi jazyky. Škálování, a to jak v parametrech, tak v datech, je hnací silou těchto možností.

Tyto modely se učí statistické vzorce napříč miliardami tokenů. Neukládají fakta do databáze. Znalosti jsou distribuovány napříč váhami, a proto mohou být plynulé a zároveň se mýlit. Halucinace je přirozeným důsledkem architektury, nikoli chybou, kterou je třeba opravit.

Společné schopnosti

• Generování a shrnutí textu
• Odpovídání na otázky a zdůvodnění
• Překlad a přepisování
• Generování a ladění kódu
• Konverzační interakce

Nasazení s sebou nese problémy. Školení stojí miliony dolarů. Inference je ve velkém měřítku drahá. Trénovací data doprovázejí obavy o autorská práva a soukromí. Práce na zarovnání se snaží řídit chování, ale žádná metoda nezaručuje, že model bude vždy reagovat tak, jak má.