Σε μια καλή ενσωμάτωση λέξεων, ο όρος «βασιλιάς» μείον «άνδρας» συν «γυναίκα» προσεγγίζει τη λέξη «βασίλισσα». Αυτή η αριθμητική λειτουργεί επειδή τα διανύσματα κωδικοποιούν νόημα, όχι μόνο την ορθογραφία. Κάθε λέξη γίνεται μια πυκνή λίστα αριθμών, συνήθως 100 έως 300 διαστάσεων, τοποθετημένες έτσι ώστε παρόμοιες λέξεις να βρίσκονται κοντά η μία στην άλλη στον διανυσματικό χώρο.

Οι παλαιότερες αναπαραστάσεις αντιμετώπιζαν τις λέξεις ως μεμονωμένα σύμβολα. Ένα μονοδιάστατο διάνυσμα για τη λέξη «γάτα» δεν έλεγε τίποτα για τη λέξη «γατάκι». Οι ενσωματώσεις άλλαξαν αυτό το γεγονός με την εκπαίδευση σε μεγάλα σώματα κειμένων: λέξεις που εμφανίζονται σε παρόμοια συμφραζόμενα καταλήγουν σε παρόμοια διανύσματα. Η υπόθεση κατανομής, περίπου «θα γνωρίσεις μια λέξη από την εταιρεία που διατηρεί», είναι η κινητήρια δύναμη πίσω από όλη την ιδέα.

Δημοφιλείς μέθοδοι

• Word2Vec, το οποίο προβλέπει μια λέξη από τους γείτονές της ή αντίστροφα
• GloVe, το οποίο λαμβάνει υπόψη έναν παγκόσμιο πίνακα συνύπαρξης
• FastText, το οποίο αναπαριστά λέξεις ως σακούλες από n-γραμμάρια χαρακτήρων
• Ενσωματώσεις με βάση τα συμφραζόμενα από το BERT και παρόμοια μοντέλα, όπου το διάνυσμα μιας λέξης εξαρτάται από την πρότασή της

Οι στατικές ενσωματώσεις όπως το Word2Vec αντιστοιχίζουν ένα διάνυσμα ανά λέξη, επομένως η λέξη "bank" έχει την ίδια αναπαράσταση στις λέξεις "river bank" και "bank account". Τα μοντέλα με βάση τα συμφραζόμενα διορθώνουν αυτήν την ασάφεια, γι' αυτό και πλέον κυριαρχούν. Το αντάλλαγμα είναι το κόστος: ο υπολογισμός ενός διανύσματος με βάση τα συμφραζόμενα απαιτεί την εκτέλεση ολόκληρου του μοντέλου.