Træn en transformer på nok tekst, og den begynder at gøre mere end at forudsige det næste ord. Store sprogmodeller genererer essays, besvarer spørgsmål, skriver kode og oversætter mellem sprog. Skala, både i parametre og data, driver kapaciteten.

Disse modeller lærer statistiske mønstre på tværs af milliarder af tokens. De gemmer ikke fakta i en database. Viden er fordelt på tværs af vægte, hvilket er grunden til, at de kan være flydende og forkerte på samme tid. Hallucinationer er en naturlig konsekvens af arkitekturen, ikke en fejl, der skal rettes.

Fælles funktioner

• Tekstgenerering og opsummering
• Spørgsmålsbesvarelse og begrundelse
• Oversættelse og omskrivning
• Kodegenerering og fejlfinding
• Samtaleinteraktion

Implementering rejser problemer. Træning koster millioner af dollars. Inferens er dyr i stor skala. Ophavsrets- og privatlivsproblemer ledsager træningsdataene. Tilpasningsarbejde forsøger at styre adfærd, men ingen metode garanterer, at modellen altid reagerer som tilsigtet.