Το 2017, μια ομάδα στην Google δημοσίευσε μια εργασία με τίτλο «Attention Is All You Need» (Η Προσοχή Είναι Όλο Όλο που Χρειάζεσαι) και η αρχιτεκτονική που περιέγραψε πλέον τροφοδοτεί σχεδόν κάθε σημαντικό γλωσσικό μοντέλο. Ο μετασχηματιστής αντικατέστησε την επανάληψη με την αυτοπροσοχή: κάθε διακριτικό σε μια ακολουθία μπορεί να εξετάσει άμεσα κάθε άλλο διακριτικό, ζυγίζοντας πόσο σημαντικό είναι το καθένα για την τρέχουσα πρόβλεψη.

Αυτή η παράλληλη αναζήτηση είναι το κλειδί. Τα παλαιότερα επαναλαμβανόμενα δίκτυα επεξεργάζονταν τις λέξεις μία κάθε φορά, γεγονός που δυσκόλευε την εκμάθηση των εξαρτήσεων μεγάλης εμβέλειας και την εκπαίδευση αργή. Ένας μετασχηματιστής επεξεργάζεται ολόκληρη την ακολουθία ταυτόχρονα, έτσι ώστε μια αντωνυμία στο τέλος μιας παραγράφου να μπορεί να ασχοληθεί με την προηγούμενή της στην αρχή χωρίς να χάσει το νήμα.

Βασικά στοιχεία

• Επίπεδα αυτοπροσοχής που υπολογίζουν τις σχέσεις μεταξύ όλων των ζευγών διακριτικών
• Πολυκεφαλική προσοχή που εκτελεί πολλές λειτουργίες προσοχής παράλληλα
• Κωδικοποιήσεις θέσης που εισάγουν πληροφορίες σειράς λέξεων
• Μπλοκ τροφοδοσίας προς τα εμπρός και υπολειμματικές συνδέσεις που σταθεροποιούν βαθιές στοίβες

Το κόστος είναι τετραγωνικό: ο διπλασιασμός του μήκους της ακολουθίας τετραπλασιάζει τον υπολογισμό της προσοχής. Αυτός είναι ο λόγος για τον οποίο τα παράθυρα περιβάλλοντος είναι ακριβά και ο λόγος για τον οποίο οι ερευνητές συνεχίζουν να προτείνουν αποτελεσματικές παραλλαγές όπως η αραιή και η γραμμική προσοχή.