Tekst, afbeeldingen, audio en video komen zelden los van elkaar voor. Multimodale leertechnieken trainen modellen met meerdere soorten data tegelijk, waardoor ze een onderschrift aan een foto of een gesproken commando aan een visuele scène kunnen koppelen.

Uitlijning is het lastige gedeelte. Het model moet een gedeelde representatie leren waarbij een afbeelding van een hond en het woord 'hond' dicht bij elkaar terechtkomen. Contrastieve leerdoelen zoals CLIP brengen overeenkomende paren samen en scheiden niet-overeenkomende paren van elkaar.

Veelvoorkomende multimodale taken

• Afbeeldingsonderschrift
• Visuele vraagbeantwoording
• Tekst-naar-beeld-generatie
• Spraak-naar-tekst met visuele context
• Video-inzicht

Het verzamelen van data is kostbaar. Gekoppelde datasets zijn schaarser dan datasets met slechts één modaliteit. Webgeschraapte beeld-tekstparen zijn nuttig, maar ze bevatten ruis en vertekeningen. Het bouwen van een robuust multimodaal systeem vereist vaak aanzienlijke zorgvuldige selectie en bewerking.