Κάθε λέξη σε μια πρόταση μπορεί να σχετίζεται με κάθε άλλη λέξη. Η αυτοπροσοχή υπολογίζει αυτές τις σχέσεις μέσα σε μία μόνο ακολουθία, επιτρέποντας σε κάθε θέση να συλλέγει πληροφορίες από όλες τις άλλες. Είναι η βασική λειτουργία μέσα στον μετασχηματιστή.

Ο μηχανισμός προβάλλει κάθε διακριτικό σε ένα ερώτημα, κλειδί και τιμή. Οι βαθμολογίες μεταξύ ερωτημάτων και κλειδιών καθορίζουν τα βάρη προσοχής, τα οποία συνδυάζουν τις τιμές σε μια νέα αναπαράσταση. Η προσοχή πολλαπλών κεφαλών εκτελεί πολλά από αυτά παράλληλα για να καταγράψει διαφορετικούς τύπους σχέσεων.

Βασικές ιδιότητες

• Παράλληλος υπολογισμός σε όλες τις θέσεις
• Άμεσες διαδρομές μεταξύ απομακρυσμένων διακριτικών
• Μαθημένα πρότυπα προσοχής
• Επεκτασιμότητα με μήκος ακολουθίας

Το κόστος αυξάνεται τετραγωνικά με το μήκος της ακολουθίας, γεγονός που περιορίζει την ποσότητα κειμένου που μπορεί να επεξεργαστεί ένα μοντέλο ταυτόχρονα. Η περιορισμένη προσοχή, τα συρόμενα παράθυρα και οι γραμμικές προσεγγίσεις μειώνουν με κάποιο κόστος την εκφραστικότητα.