Train een transformermodel met voldoende tekst en het kan meer dan alleen het volgende woord voorspellen. Grote taalmodellen genereren essays, beantwoorden vragen, schrijven code en vertalen tussen talen. Schaal, zowel qua parameters als qua data, bepaalt de mogelijkheden.

Deze modellen leren statistische patronen over miljarden tokens. Ze slaan geen feiten op in een database. Kennis is verdeeld over gewichten, waardoor ze tegelijkertijd vloeiend en fout kunnen zijn. Hallucinatie is een natuurlijk gevolg van de architectuur, geen bug die verholpen moet worden.

Gemeenschappelijke mogelijkheden

• Tekstgeneratie en samenvatting
• Vraagbeantwoording en redenering
• Vertaling en herschrijving
• Codegeneratie en debuggen
• Gespreksinteractie

Implementatie brengt problemen met zich mee. Training kost miljoenen dollars. Inferentie is duur op grote schaal. Auteursrecht- en privacykwesties kleven aan de trainingsdata. Afstemmingswerk probeert het gedrag te sturen, maar geen enkele methode garandeert dat het model altijd zal reageren zoals bedoeld.