Текст, изображения, аудио и видео редко встречаются по отдельности. Мультимодальное обучение позволяет обучать модели одновременно на нескольких типах данных, что дает им возможность связывать подпись с фотографией или голосовую команду с визуальной сценой.

Самая сложная часть — это выравнивание. Модель должна научиться создавать общее представление, при котором изображение собаки и слово «собака» располагаются рядом друг с другом. Контрастные задачи, такие как CLIP, сближают совпадающие пары и разъединяют несовпадающие.

Общие мультимодальные задачи

• Подписи к изображениям
• Визуальные ответы на вопросы
• Генерация текста в изображение
• Преобразование речи в текст с визуальным контекстом.
• Понимание видео

Сбор данных — дорогостоящий процесс. Парные наборы данных встречаются реже, чем одномодальные. Пары «изображение-текст», полученные путем веб-скрейпинга, помогают, но содержат шум и искажения. Создание надежной мультимодальной системы часто требует существенной обработки и редактирования данных.