在一個好的詞嵌入中，“king”（國王）減去“man”（男人）加上“woman”（女人）會落在“queen”（女王）附近。這種算術之所以有效，是因為向量編碼的是意義，而不僅僅是拼字。每個字都變成了一個密集的數字列表，通常有100到300個維度，這些數字的位置使得相似的字在向量空間中彼此靠近。

早期的表示方法將詞語視為孤立的符號。例如，「cat」的獨熱向量並不能表示「kitten」。詞嵌入透過對大型文本語料庫進行訓練改變了這一點：出現在相似上下文中的詞語最終會得到相似的向量。分佈假設，大致相當於“詞與詞的關聯性”，是整個概念的核心。

常用方法

• Word2Vec 可以根據單字的相鄰單字預測另一個單字，反之亦然。
• GloVe，它考慮了全局共現矩陣。
• FastText 將單字表示為字元 n-gram 的詞袋。
• 來自 BERT 和類似模型的上下文嵌入，其中單字的向量取決於其所在的句子。

靜態字詞嵌入（例如 Word2Vec）為每個字詞分配向量，因此「bank」在「river bank」（河岸）和「bank account」（銀行帳戶）中具有相同的表示形式。上下文模型解決了這種歧義，這也是它們目前佔據主導地位的原因。但缺點是成本較高：計算上下文向量需要運行整個模型。