텍스트, 이미지, 오디오 및 비디오는 단독으로 나타나는 경우가 드뭅니다. 멀티모달 학습은 여러 유형의 데이터를 동시에 학습시켜 캡션과 사진을 연결하거나 음성 명령과 시각적 장면을 연결할 수 있도록 합니다.

정렬이 가장 어려운 부분입니다. 모델은 개의 그림과 '개'라는 단어가 서로 가까이 위치하는 공통된 표현 방식을 학습해야 합니다. CLIP과 같은 대조적 목표는 일치하는 쌍을 서로 끌어당기고 일치하지 않는 쌍을 서로 멀리 떨어뜨립니다.

일반적인 멀티모달 작업

• 이미지 캡션
• 시각적 질문 답변
• 텍스트를 이미지로 변환
• 시각적 맥락을 포함한 음성-텍스트 변환
• 영상 이해하기

데이터 수집에는 많은 비용이 소요됩니다. 쌍으로 구성된 데이터 세트는 단일 모달리티 데이터 세트보다 훨씬 드뭅니다. 웹 스크래핑을 통해 얻은 이미지-텍스트 쌍은 도움이 되지만, 노이즈와 편향을 내포하고 있습니다. 견고한 멀티모달 시스템을 구축하려면 상당한 수준의 데이터 큐레이션이 필요합니다.