Tren en transformator på nok tekst, og den begynner å gjøre mer enn å forutsi det neste ordet. Store språkmodeller genererer essays, svarer på spørsmål, skriver kode og oversetter mellom språk. Skala, både i parametere og data, driver kapasiteten.

Disse modellene lærer statistiske mønstre på tvers av milliarder av tokens. De lagrer ikke fakta i en database. Kunnskap er fordelt på tvers av vekter, og det er derfor de kan være flytende og feil samtidig. Hallusinasjoner er en naturlig konsekvens av arkitekturen, ikke en feil som må rettes.

Vanlige funksjoner

• Tekstgenerering og oppsummering
• Spørsmålsbesvarelse og resonnement
• Oversettelse og omskriving
• Kodegenerering og feilsøking
• Samtaleinteraksjon

Implementering reiser problemer. Opplæring koster millioner av dollar. Inferens er dyrt i stor skala. Opplæringsdataene er berørt av opphavsrett og personvern. Justeringsarbeid prøver å styre atferd, men ingen metode garanterer at modellen alltid vil reagere som tiltenkt.