Un enfant qui n'a jamais vu de zèbre peut en reconnaître un après qu'on lui ait dit qu'il ressemble à un cheval rayé. L'apprentissage zéro-shot demande aux machines de faire quelque chose de similaire : traiter des classes ou des tâches pour lesquelles elles n'ont jamais été entraînées, en utilisant des informations auxiliaires telles que des descriptions d'attributs ou des relations sémantiques.

En classification d'images, un modèle zéro-shot peut être entraîné sur des chats et des chiens, puis sollicité pour identifier un loup. Si le modèle a appris des attributs tels que « poilu », « oreilles pointues » et « vit en meute », il peut les combiner pour se représenter un loup sans jamais en avoir vu un. Le lien entre les classes observées et inconnues est généralement un espace sémantique partagé, souvent construit à partir de descriptions textuelles ou de graphes de connaissances.

Pourquoi c'est important

• De nouvelles catégories apparaissent constamment et leur étiquetage est lent.
• Certaines classes sont rares ou impossibles à collectionner à grande échelle.
• Les grands modèles de langage effectuent désormais de nombreuses tâches sans aucun exemple à partir d'une simple invite.
• Cela réduit le coût du déploiement d'un modèle sur de nouveaux domaines.

Les performances de l'apprentissage zéro-shot restent inférieures à celles de l'apprentissage supervisé sur la plupart des benchmarks. L'écart se réduit lorsque les descriptions auxiliaires sont riches et que les classes non vues sont proches de la distribution d'entraînement. En revanche, lorsqu'elles sont très éloignées, le modèle fait des suppositions erronées et souvent trop confiantes.