Teks, gambar, audio, dan video jarang muncul sendirian. Pembelajaran multimodal melatih model pada lebih dari satu jenis data sekaligus, memungkinkan mereka menghubungkan keterangan dengan foto atau perintah lisan dengan adegan visual.

Penyelarasan adalah bagian yang sulit. Model harus mempelajari representasi bersama di mana gambar anjing dan kata "anjing" berada berdekatan. Tujuan kontrastif seperti CLIP menyatukan pasangan yang cocok dan memisahkan pasangan yang tidak cocok.

Tugas multimodal umum

• Keterangan gambar
• Menjawab pertanyaan secara visual
• Pembuatan teks menjadi gambar
• Konversi ucapan ke teks dengan konteks visual.
• Pemahaman video

Pengumpulan data itu mahal. Kumpulan data berpasangan lebih langka daripada kumpulan data modalitas tunggal. Pasangan gambar-teks yang diambil dari web memang membantu, tetapi mengandung noise dan bias. Membangun sistem multimodal yang kuat seringkali membutuhkan kurasi yang substansial.