Ребенок, никогда не видевший зебру, все равно сможет узнать ее, даже если ему скажут, что она похожа на лошадь с полосами. Обучение без предварительного обучения требует от машин выполнения аналогичной задачи: обработки классов или задач, для которых они никогда не обучались, используя вспомогательную информацию, такую ​​как описания атрибутов или семантические отношения.

В классификации изображений модель с нулевым обучением может быть обучена на кошках и собаках, но ей может быть предложено идентифицировать волка. Если модель усвоила такие атрибуты, как «имеет шерсть», «имеет заостренные уши» и «живет стаями», она может объединить их в представление волка, ни разу его не увидев. Мост между видимыми и невидимыми классами обычно представляет собой общее семантическое пространство, часто построенное на основе текстовых описаний или графов знаний.

Почему это важно

• Постоянно появляются новые категории, и их маркировка занимает много времени.
• Некоторые виды редких видов или их невозможно собрать в больших масштабах.
• В настоящее время крупные языковые модели выполняют множество задач без предварительного обучения, используя только подсказку.
• Это снижает стоимость развертывания модели в новых областях.

На большинстве бенчмарков производительность обучения без предварительного обучения по-прежнему отстает от обучения с учителем. Разрыв сокращается, когда вспомогательные описания являются подробными, а неизвестные классы близки к распределению обучающей выборки. Когда они находятся далеко друг от друга, модель делает неточные и часто уверенные предположения.