A szöveg, a kép, a hang és a videó ritkán jelenik meg önmagukban. A multimodális tanulás egyszerre több adattípuson is képzi a modelleket, lehetővé téve számukra, hogy feliratot egy fotóhoz, vagy szóbeli parancsot egy vizuális jelenethez kapcsoljanak.

Az illesztés a nehéz rész. A modellnek meg kell tanulnia egy közös reprezentációt, ahol egy kutya képe és a „kutya” szó egymás közelébe kerül. Az olyan kontrasztos célok, mint a CLIP, összehúzzák az egyező párokat, és szétválasztják az eltérőket.

Gyakori multimodális feladatok

• Képfeliratozás
• Vizuális kérdésmegoldás
• Szövegből kép generálása
• Beszédfelismerés vizuális kontextussal
• Videó megértése

Az adatgyűjtés költséges. A párosított adatkészletek ritkábbak, mint az egymodalitásúak. A webről kinyert kép-szöveg párok segítenek, de zajt és torzítást hordoznak magukban. Egy robusztus multimodális rendszer felépítése gyakran jelentős gondozást igényel.