言葉、画像、そしてユーザーはすべて、同じ幾何学的世界における点となる。埋め込み空間は、離散的なオブジェクトを連続的なベクトルにマッピングし、類似する要素を近くに、類似しない要素を遠くに配置する。距離には意味がある。

Word2VecやGloVeのような単語埋め込みは、関連する単語を互いに近い位置に配置する。その空間において、「王」と「女王」のベクトル差は、「男性」と「女性」のベクトル差に似ている。文や画像の埋め込みは、この考え方をより大きな単位に拡張する。

一般的な埋め込み用途

• 意味検索と情報取得
• 推薦システム
• クラスタリングと可視化
• 転移学習機能
• 異種モダリティマッチング

次元数は数十から数千に及ぶ。次元数が多いほどより多くのニュアンスを捉えることができるが、より多くのデータと計算能力を必要とする。形状は設計されるのではなく学習されるため、結果が有用であっても解釈が難しい。