Antrenează un transformator cu suficient text și acesta începe să facă mai mult decât să prezică următorul cuvânt. Modelele lingvistice mari generează eseuri, răspund la întrebări, scriu cod și traduc între limbi. Scalarea, atât în ​​parametri, cât și în date, determină această capacitate.

Aceste modele învață tipare statistice prin miliarde de token-uri. Nu stochează fapte într-o bază de date. Cunoștințele sunt distribuite pe ponderi, motiv pentru care pot fi fluente și greșite în același timp. Halucinațiile sunt o consecință naturală a arhitecturii, nu o eroare care trebuie remediată.

Capacități comune

• Generarea și rezumarea textului
• Răspunsul la întrebări și raționamentul
• Traducere și rescriere
• Generarea de cod și depanarea
• Interacțiune conversațională

Implementarea ridică probleme. Antrenamentul costă milioane de dolari. Inferențele sunt costisitoare la scară largă. Datele de antrenament sunt însoțite de preocupări legate de drepturile de autor și confidențialitate. Munca de aliniere încearcă să orienteze comportamentul, dar nicio metodă nu garantează că modelul va răspunde întotdeauna așa cum a fost conceput.