Texte, images, audio et vidéo apparaissent rarement seuls. L'apprentissage multimodal permet d'entraîner des modèles sur plusieurs types de données simultanément, ce qui leur permet d'associer une légende à une photo ou une commande vocale à une scène visuelle.

L'alignement est la partie la plus difficile. Le modèle doit apprendre une représentation commune où l'image d'un chien et le mot « chien » se retrouvent côte à côte. Les objectifs contrastifs comme CLIP rapprochent les paires correspondantes et éloignent celles qui ne le sont pas.

tâches multimodales courantes

• légende d'image
• Réponse visuelle aux questions
• Génération d'images à partir de texte
• Transcription vocale avec contexte visuel
• Compréhension vidéo

La collecte de données est coûteuse. Les jeux de données appariés sont plus rares que les jeux unimodaux. Les paires image-texte extraites du Web sont utiles, mais elles comportent du bruit et des biais. La construction d'un système multimodal robuste nécessite souvent un travail de curation important.