Seorang anak yang belum pernah melihat zebra masih dapat mengenalinya setelah diberi tahu bahwa zebra terlihat seperti kuda dengan garis-garis. Pembelajaran tanpa pelatihan (zero-shot learning) meminta mesin untuk melakukan hal serupa: menangani kelas atau tugas yang belum pernah dilatih sebelumnya, menggunakan informasi tambahan seperti deskripsi atribut atau hubungan semantik.

Dalam klasifikasi gambar, model zero-shot mungkin dilatih pada kucing dan anjing tetapi diminta untuk mengidentifikasi serigala. Jika model telah mempelajari atribut seperti "memiliki bulu," "memiliki telinga runcing," dan "hidup berkelompok," model tersebut dapat menyusun atribut-atribut tersebut menjadi representasi serigala tanpa pernah melihatnya. Jembatan antara kelas yang terlihat dan yang tidak terlihat biasanya adalah ruang semantik bersama, yang sering dibangun dari deskripsi teks atau grafik pengetahuan.

Mengapa ini penting

• Kategori baru terus bermunculan dan pemberian label pada kategori tersebut memakan waktu lama.
• Beberapa kelas langka atau mustahil untuk dikumpulkan dalam skala besar.
• Model bahasa berskala besar kini mampu melakukan banyak tugas tanpa perlu mengambil data awal (zero-shot) hanya dari sebuah perintah.
• Hal ini mengurangi biaya penerapan model ke domain baru.

Performa zero-shot masih tertinggal dibandingkan supervised learning pada sebagian besar benchmark. Kesenjangan tersebut menyempit ketika deskripsi tambahan kaya dan kelas yang tidak terlihat dekat dengan distribusi pelatihan. Ketika jaraknya jauh, model menebak dengan buruk dan seringkali dengan percaya diri.