Träna en transformator på tillräckligt med text så börjar den göra mer än att förutsäga nästa ord. Stora språkmodeller genererar uppsatser, svarar på frågor, skriver kod och översätter mellan språk. Skalbarhet, både i parametrar och data, driver kapaciteten.

Dessa modeller lär sig statistiska mönster över miljarder tokens. De lagrar inte fakta i en databas. Kunskap är fördelad över vikter, vilket är anledningen till att de kan vara flytande och felaktiga samtidigt. Hallucinationer är en naturlig konsekvens av arkitekturen, inte en bugg som ska åtgärdas.

Vanliga funktioner

• Textgenerering och sammanfattning
• Frågesvar och resonemang
• Översättning och omskrivning
• Kodgenerering och felsökning
• Konversationsinteraktion

Implementering ger upphov till problem. Utbildning kostar miljontals dollar. Inferens är dyrt i stor skala. Upphovsrätts- och integritetsproblem medföljer träningsdata. Anpassningsarbete försöker styra beteende, men ingen metod garanterar att modellen alltid kommer att svara som avsett.