Wytrenuj transformator na wystarczającej ilości tekstu, a zacznie on robić więcej niż tylko przewidywać kolejne słowo. Duże modele językowe generują eseje, odpowiadają na pytania, piszą kod i tłumaczą między językami. Skala, zarówno parametrów, jak i danych, napędza możliwości.

Modele te uczą się wzorców statystycznych na podstawie miliardów tokenów. Nie przechowują faktów w bazie danych. Wiedza jest rozłożona na wagi, dlatego mogą być jednocześnie płynne i błędne. Halucynacja jest naturalną konsekwencją architektury, a nie błędem, który należy naprawić.

Wspólne możliwości

• Generowanie i podsumowywanie tekstu
• Odpowiadanie na pytania i rozumowanie
• Tłumaczenie i przepisywanie
• Generowanie kodu i debugowanie
• Interakcja konwersacyjna

Wdrożenie rodzi problemy. Szkolenie kosztuje miliony dolarów. Wnioskowanie jest kosztowne na dużą skalę. Danym szkoleniowym towarzyszą obawy dotyczące praw autorskich i prywatności. Prace nad dopasowaniem próbują sterować zachowaniem, ale żadna metoda nie gwarantuje, że model zawsze będzie reagował zgodnie z oczekiwaniami.