Et barn, der aldrig har set en zebra, kan stadig genkende en, efter at have fået at vide, at den ligner en hest med striber. Nul-skuds læring beder maskiner om at gøre noget lignende: håndtere klasser eller opgaver, de aldrig er blevet trænet i, ved hjælp af hjælpeinformation såsom attributbeskrivelser eller semantiske relationer.
I billedklassificering kan en nul-skudsmodel trænes på katte og hunde, men bedt om at identificere en ulv. Hvis modellen har lært attributter som "har pels", "har spidse ører" og "lever i flok", kan den sammensætte disse til en repræsentation af en ulv uden nogensinde at have set en. Broen mellem synlige og usynlige klasser er normalt et delt semantisk rum, ofte bygget op fra tekstbeskrivelser eller vidensgrafer.
Hvorfor det er vigtigt
- Nye kategorier dukker konstant op, og det er langsomt at mærke dem
- Nogle klasser er sjældne eller umulige at indsamle i stor skala
- Store sprogmodeller udfører nu mange opgaver direkte fra en prompt alene
- Det reducerer omkostningerne ved at implementere en model på nye domæner
Zero-shot-ydeevnen halter stadig efter den overvågede læring på de fleste benchmarks. Forskellen mindskes, når hjælpebeskrivelserne er omfattende, og de usete klasser er tæt på træningsfordelingen. Når de er langt fra hinanden, gætter modellen dårligt og ofte med sikkerhed.
Comments (2)
Leave a comment