文字、圖像、音訊和視訊很少單獨出現。多模態學習可以同時使用多種類型的資料訓練模型，使模型能夠將圖片說明與圖像關聯起來，或將語音指令與視覺場景關聯起來。

對齊是困難點。模型必須學習一種共享表徵，使狗的圖片和「狗」這個詞能夠彼此靠近。對比目標函數（例如 CLIP）會將匹配的元素對拉近，並將不匹配的元素對分開。

常見的多模態任務

• 圖片說明文字
• 視覺問答
• 文字轉圖像生成
• 語音轉文字（附視覺脈絡）
• 影片理解

資料收集成本高昂。配對資料集比單模態資料集更為稀缺。雖然從網頁抓取的圖像-文字對有所幫助，但它們往往包含雜訊和偏差。建構一個穩健的多模態系統通常需要大量的資料整理工作。