Εκπαιδεύστε έναν μετασχηματιστή σε αρκετό κείμενο και θα αρχίσει να κάνει περισσότερα από το να προβλέπει την επόμενη λέξη. Τα μεγάλα γλωσσικά μοντέλα δημιουργούν δοκίμια, απαντούν σε ερωτήσεις, γράφουν κώδικα και μεταφράζουν μεταξύ γλωσσών. Η κλίμακα, τόσο σε παραμέτρους όσο και σε δεδομένα, καθορίζει την ικανότητα.

Αυτά τα μοντέλα μαθαίνουν στατιστικά μοτίβα σε δισεκατομμύρια διακριτικά (tokens). Δεν αποθηκεύουν δεδομένα σε μια βάση δεδομένων. Η γνώση κατανέμεται σε βάρη, γι' αυτό και μπορούν να είναι ταυτόχρονα εύχρηστα και λανθασμένα. Η ψευδαίσθηση είναι μια φυσική συνέπεια της αρχιτεκτονικής, όχι ένα σφάλμα που πρέπει να διορθωθεί.

Κοινές δυνατότητες

• Δημιουργία και σύνοψη κειμένου
• Απάντηση σε ερωτήσεις και συλλογισμός
• Μετάφραση και επανεγγραφή
• Δημιουργία κώδικα και εντοπισμός σφαλμάτων
• Συνομιλητική αλληλεπίδραση

Η ανάπτυξη εγείρει ζητήματα. Η εκπαίδευση κοστίζει εκατομμύρια δολάρια. Η εξαγωγή συμπερασμάτων είναι δαπανηρή σε μεγάλη κλίμακα. Τα δεδομένα εκπαίδευσης συνοδεύονται από ανησυχίες σχετικά με τα πνευματικά δικαιώματα και την ιδιωτικότητα. Η εργασία ευθυγράμμισης προσπαθεί να κατευθύνει τη συμπεριφορά, αλλά καμία μέθοδος δεν εγγυάται ότι το μοντέλο θα ανταποκρίνεται πάντα όπως προβλέπεται.