Trainiert man einen Transformer mit genügend Text, kann er mehr als nur das nächste Wort vorhersagen. Große Sprachmodelle generieren Aufsätze, beantworten Fragen, schreiben Code und übersetzen zwischen Sprachen. Die Leistungsfähigkeit hängt maßgeblich vom Umfang der Parameter und der Daten ab.

Diese Modelle lernen statistische Muster aus Milliarden von Tokens. Sie speichern keine Fakten in einer Datenbank. Das Wissen ist gewichtet verteilt, weshalb sie gleichzeitig korrekt und fehlerhaft sein können. Halluzinationen sind eine natürliche Folge der Architektur und kein Fehler, der behoben werden muss.

Gemeinsame Fähigkeiten

• Textgenerierung und -zusammenfassung
• Fragebeantwortung und logisches Denken
• Übersetzung und Überarbeitung
• Codegenerierung und Debugging
• Gesprächsinteraktion

Die Implementierung wirft Probleme auf. Das Training kostet Millionen von Dollar. Inferenz ist im großen Maßstab teuer. Urheberrechts- und Datenschutzbedenken begleiten die Trainingsdaten. Ausrichtungsarbeiten versuchen, das Verhalten zu steuern, aber keine Methode garantiert, dass das Modell immer wie gewünscht reagiert.