얼룩말을 본 적 없는 아이도 줄무늬가 있는 말처럼 생겼다고 들으면 얼룩말을 알아볼 수 있습니다. 제로샷 학습은 이와 유사하게 기계에게 속성 설명이나 의미 관계와 같은 보조 정보를 활용하여 학습된 적 없는 클래스나 작업을 처리하도록 요구합니다.

이미지 분류에서 제로샷 모델은 고양이와 개 데이터로 학습되었지만, 늑대를 식별하도록 요구받을 수 있습니다. 만약 모델이 "털이 있다", "뾰족한 귀를 가지고 있다", "무리 지어 산다"와 같은 속성을 학습했다면, 실제 늑대를 보지 않고도 이러한 속성들을 조합하여 늑대를 표현할 수 있습니다. 학습된 클래스와 학습되지 않은 클래스 사이의 연결 고리는 일반적으로 텍스트 설명이나 지식 그래프를 기반으로 구축된 공유된 의미 공간입니다.

왜 중요한가

• 새로운 카테고리가 끊임없이 생겨나고, 이에 이름을 붙이는 작업은 느리게 진행됩니다.
• 일부 분류군은 대규모로 수집하기가 드물거나 불가능합니다.
• 이제 대규모 언어 모델은 프롬프트 하나만으로 많은 작업을 즉시 수행할 수 있습니다.
• 이는 모델을 새로운 영역에 배포하는 비용을 줄여줍니다.

제로샷 학습의 성능은 대부분의 벤치마크에서 여전히 지도 학습에 뒤처집니다. 보조 설명이 풍부하고 미학습 클래스가 훈련 데이터 분포와 가까울수록 격차는 좁아집니다. 하지만 둘 사이의 차이가 클 경우, 모델은 예측 정확도가 떨어지고 종종 지나치게 확신에 찬 결과를 내놓습니다.