Un copil care nu a văzut niciodată o zebră poate totuși recunoaște una după ce i se spune că arată ca un cal cu dungi. Învățarea cu impuls zero le cere mașinilor să facă ceva similar: să gestioneze clase sau sarcini pentru care nu au fost niciodată antrenate, folosind informații auxiliare, cum ar fi descrieri de atribute sau relații semantice.

În clasificarea imaginilor, un model cu zero-shot-uri ar putea fi antrenat pe pisici și câini, dar i se poate cere să identifice un lup. Dacă modelul a învățat atribute precum „are blană”, „are urechi ascuțite” și „trăiește în haite”, le poate compune într-o reprezentare a lupului fără să vadă vreodată vreunul. Puntea dintre clasele văzute și cele nevăzute este de obicei un spațiu semantic comun, adesea construit din descrieri textuale sau grafuri de cunoștințe.

De ce contează

• Categorii noi apar constant, iar etichetarea lor este lentă
• Unele clase sunt rare sau imposibil de colectat la scară largă
• Modelele lingvistice mari îndeplinesc acum multe sarcini fără a apărea modificări, doar dintr-un prompt.
• Reduce costul implementării unui model pe domenii noi

Performanța zero-shot este încă inferioară învățării supravegheate la majoritatea testelor de performanță. Decalajul se micșorează atunci când descrierile auxiliare sunt bogate, iar clasele nevăzute sunt apropiate de distribuția de antrenament. Când sunt foarte departe una de cealaltă, modelul ghicește greșit și adesea cu încredere.