Δεν έχει κάθε λέξη σε μια πρόταση την ίδια σημασία. Κατά τη μετάφραση της φράσης τραπεζικός λογαριασμός, το μοντέλο πρέπει να γνωρίζει ότι η λέξη τράπεζα εδώ σημαίνει χρηματοδότηση και όχι όχθη ποταμού. Η προσοχή επιτρέπει σε ένα μοντέλο να ζυγίζει διαφορετικά μέρη της εισόδου κατά την παραγωγή κάθε εξόδου, αντί να αντιμετωπίζει τα πάντα με την ίδια σημασία.

Ο μηχανισμός υπολογίζει βαθμολογίες μεταξύ ενός ερωτήματος και ενός συνόλου κλειδιών, μετατρέπει αυτές τις βαθμολογίες σε βάρη και τις χρησιμοποιεί για να συνδυάσει τιμές. Το αποτέλεσμα είναι μια σταθμισμένη σύνοψη που δίνει έμφαση σε σχετικές πληροφορίες. Η αυτοπροσοχή εφαρμόζει την ίδια ιδέα σε μία μόνο ακολουθία.

Κοινές παραλλαγές προσοχής

• Κλιμακωτή προσοχή σε προϊόντα κουκκίδων
• Προσοχή πολλαπλών κεφαλών με παράλληλες όψεις
• Αυτοπροσοχή σε μία ακολουθία
• Διασταυρούμενη προσοχή μεταξύ δύο ακολουθιών

Η αρχιτεκτονική μετασχηματιστή που βασίζεται εξ ολοκλήρου στην προσοχή αντικατέστησε τα επαναλαμβανόμενα δίκτυα για τις περισσότερες γλωσσικές εργασίες. Παραλληλίζεται καλύτερα και καταγράφει τις εξαρτήσεις μεγάλης εμβέλειας πιο αποτελεσματικά, γι' αυτό και σχεδόν κάθε μεγάλο γλωσσικό μοντέλο τη χρησιμοποιεί.