टेक्स्ट, इमेज, ऑडियो और वीडियो शायद ही कभी अकेले दिखाई देते हैं। मल्टीमॉडल लर्निंग एक साथ एक से अधिक प्रकार के डेटा पर मॉडल को प्रशिक्षित करती है, जिससे वे किसी फोटो के साथ कैप्शन या किसी दृश्य के साथ मौखिक निर्देश को जोड़ सकते हैं।

संरेखण ही सबसे कठिन हिस्सा है। मॉडल को एक साझा प्रतिनिधित्व सीखना होगा जहाँ कुत्ते की तस्वीर और 'कुत्ता' शब्द एक दूसरे के पास हों। CLIP जैसे कंट्रास्टिव ऑब्जेक्टिव, मेल खाने वाले जोड़ों को एक साथ लाते हैं और बेमेल जोड़ों को अलग करते हैं।

सामान्य मल्टीमॉडल कार्य

• छवि कैप्शनिंग
• दृश्य प्रश्नोत्तर
• टेक्स्ट से इमेज जनरेशन
• दृश्य संदर्भ के साथ वाक्-से-पाठ
• वीडियो समझ

डेटा संग्रह महंगा होता है। युग्मित डेटासेट एकल-मोडैलिटी डेटासेट की तुलना में दुर्लभ होते हैं। वेब से प्राप्त छवि-पाठ युग्म सहायक होते हैं, लेकिन उनमें त्रुटि और पूर्वाग्रह मौजूद होते हैं। एक मजबूत मल्टीमॉडल प्रणाली के निर्माण के लिए अक्सर पर्याप्त क्यूरेशन की आवश्यकता होती है।