文本、图像、音频和视频很少单独出现。多模态学习可以同时使用多种类型的数据训练模型，使模型能够将图片说明与图像关联起来，或将语音指令与视觉场景关联起来。

对齐是难点。模型必须学习一种共享表征，使狗的图片和“狗”这个词能够彼此靠近。对比目标函数（例如 CLIP）会将匹配的元素对拉近，并将不匹配的元素对分开。

常见的多模态任务

• 图片说明文字
• 视觉问答
• 文本转图像生成
• 语音转文本（带视觉上下文）
• 视频理解

数据收集成本高昂。配对数据集比单模态数据集更为稀缺。虽然从网络抓取的图像-文本对有所帮助，但它们往往包含噪声和偏差。构建一个稳健的多模态系统通常需要大量的数据整理工作。