نادراً ما تظهر النصوص والصور والصوت والفيديو بشكل منفرد. يقوم التعلم متعدد الوسائط بتدريب النماذج على أكثر من نوع من البيانات في آن واحد، مما يسمح لها بربط التعليق بالصورة أو الأمر الصوتي بالمشهد المرئي.

يُعدّ التوافق الجزء الأصعب. يجب أن يتعلم النموذج تمثيلاً مشتركاً حيث تتجاور صورة الكلب مع كلمة "كلب". تعمل الأهداف المقارنة، مثل CLIP، على تقريب الأزواج المتطابقة وإبعاد الأزواج غير المتطابقة.

المهام متعددة الوسائط الشائعة

• شرح الصور
• الإجابة على الأسئلة المرئية
• تحويل النص إلى صورة
• تحويل الكلام إلى نص مع سياق مرئي
• فهم الفيديو

يُعدّ جمع البيانات مكلفًا. كما أن مجموعات البيانات المزدوجة أقل وفرة من مجموعات البيانات أحادية النمط. صحيح أن أزواج الصور والنصوص المستخرجة من الإنترنت تُساعد، إلا أنها تحمل تشويشًا وتحيزًا. غالبًا ما يتطلب بناء نظام متعدد الوسائط قويّ عملية تنسيق مكثفة.