Les humains apprennent de nouvelles catégories à partir de quelques exemples seulement. La plupart des modèles d'apprentissage automatique en nécessitent des milliers. L'apprentissage avec peu d'exemples réduit cet écart en entraînant les modèles à reconnaître de nouvelles classes à partir de quelques exemples étiquetés seulement.

Les approches varient. L'apprentissage métrique entraîne les réseaux à comparer des exemples, permettant ainsi d'apparier de nouvelles classes par similarité. Le méta-apprentissage entraîne les modèles à apprendre rapidement sur de nombreuses tâches. Les grands modèles de langage atteignent un comportement avec peu d'exemples grâce à la seule incitation, sans mise à jour des poids.

Paramètres communs

• Exemple unique, un seul exemple par classe
• Cinq coups, cinq exemples par classe
• N classes avec K exemples chacune, avec N classes et N classes avec K exemples chacune.
• Zéro exemple, seulement des descriptions

Les performances avec peu d'exemples restent inférieures à celles obtenues avec une supervision complète sur la plupart des benchmarks. L'écart se réduit, notamment pour les tâches de langage, mais la technique est optimale lorsqu'elle est associée à un pré-entraînement rigoureux et à une conception soignée des invites.