Люди усваивают новые категории, имея всего несколько примеров. Большинству моделей машинного обучения требуются тысячи примеров. Обучение с малым количеством примеров сокращает этот разрыв, обучая модели распознавать новые классы, используя лишь несколько размеченных образцов.

Подходы различаются. Метрическое обучение тренирует нейронные сети сравнивать примеры, чтобы новые классы можно было сопоставлять по сходству. Метаобучение тренирует модели быстро обучаться на множестве задач. Большие языковые модели достигают поведения с малым количеством примеров только за счет подсказок, без обновления весов.

Общие настройки

• Одноразовое занятие, один пример на урок.
• Пять упражнений, пять примеров на занятие
• N-мерный K-кратный тест, N классов по K примеров в каждом.
• Без примеров, только описания.

На большинстве бенчмарков производительность при использовании небольшого количества примеров по-прежнему отстает от производительности при полном контроле. Разрыв сокращается, особенно в языковых задачах, но этот метод работает лучше всего в сочетании с качественным предварительным обучением и тщательной разработкой подсказок.