Text, bilder, ljud och video förekommer sällan ensamma. Multimodalt lärande tränar modeller på mer än en typ av data samtidigt, vilket låter dem koppla en bildtext till ett foto eller ett talat kommando till en visuell scen.

Justering är den svåra delen. Modellen måste lära sig en delad representation där en bild av en hund och ordet hund landar nära varandra. Kontrastiva mål som CLIP drar ihop matchande par och skjuter isär ojämna.

Vanliga multimodala uppgifter

• Bildtextning
• Visuellt frågesvar
• Text-till-bild-generering
• Tal-till-text med visuell kontext
• Videoförståelse

Datainsamling är dyrt. Parade datamängder är mer sällsynta än datamängder med en enda modalitet. Webbskrapade bild-text-par hjälper, men de bär på brus och partiskhet. Att bygga ett robust multimodalt system kräver ofta omfattande kurering.