Een kind dat nog nooit een zebra heeft gezien, kan er toch een herkennen nadat hem is verteld dat het op een paard met strepen lijkt. Zero-shot learning vraagt ​​machines iets soortgelijks te doen: klassen of taken verwerken waarvoor ze nooit zijn getraind, met behulp van aanvullende informatie zoals attribuutbeschrijvingen of semantische relaties.

Bij beeldclassificatie kan een zero-shot model getraind worden op katten en honden, maar gevraagd worden om een ​​wolf te identificeren. Als het model kenmerken heeft geleerd zoals 'heeft vacht', 'heeft spitse oren' en 'leeft in roedels', kan het die combineren tot een representatie van een wolf zonder er ooit een te hebben gezien. De brug tussen bekende en onbekende categorieën is meestal een gedeelde semantische ruimte, vaak opgebouwd uit tekstbeschrijvingen of kennisgrafieken.

Waarom het belangrijk is

• Er verschijnen voortdurend nieuwe categorieën en het labelen ervan gaat langzaam.
• Sommige klassen zijn zeldzaam of onmogelijk om op grote schaal te verzamelen.
• Grote taalmodellen voeren tegenwoordig veel taken volledig uit, zonder enige prompt.
• Het verlaagt de kosten voor het implementeren van een model in nieuwe domeinen.

De prestaties van zero-shot learning blijven op de meeste benchmarks achter bij supervised learning. Het verschil wordt kleiner wanneer de aanvullende beschrijvingen uitgebreid zijn en de onbekende klassen dicht bij de trainingsdistributie liggen. Wanneer ze ver uit elkaar liggen, gokt het model slecht en vaak te zelfverzekerd.