Văn bản, hình ảnh, âm thanh và video hiếm khi xuất hiện riêng lẻ. Học đa phương thức huấn luyện các mô hình trên nhiều loại dữ liệu cùng một lúc, cho phép chúng kết nối chú thích với ảnh hoặc mệnh lệnh bằng giọng nói với cảnh trực quan.

Việc căn chỉnh là phần khó. Mô hình phải học được một cách biểu diễn chung, trong đó hình ảnh con chó và từ "chó" nằm gần nhau. Các mục tiêu tương phản như CLIP kéo các cặp phù hợp lại gần nhau và đẩy các cặp không phù hợp ra xa nhau.

Các nhiệm vụ đa phương thức phổ biến

• Chú thích hình ảnh
• Trả lời câu hỏi bằng hình ảnh
• Tạo hình ảnh từ văn bản
• Chuyển giọng nói thành văn bản kèm ngữ cảnh trực quan
• Hiểu video

Việc thu thập dữ liệu rất tốn kém. Các tập dữ liệu ghép đôi hiếm hơn các tập dữ liệu đơn phương thức. Các cặp hình ảnh-văn bản được thu thập từ web có ích, nhưng chúng chứa nhiễu và sai lệch. Xây dựng một hệ thống đa phương thức mạnh mẽ thường đòi hỏi sự sàng lọc kỹ lưỡng.