Certains modèles classifient. D'autres créent. Les modèles génératifs apprennent la distribution sous-jacente des données et peuvent en effectuer un échantillonnage, produisant ainsi de nouveaux exemples similaires à l'ensemble d'entraînement. Ils répondent à la question de la génération des données, et non seulement à celle de leur étiquetage.

Parmi les exemples classiques, on peut citer le classificateur bayésien naïf et les modèles de mélange gaussien. Les approches modernes s'appuient sur les réseaux de neurones : auto-encodeurs variationnels, réseaux antagonistes génératifs et modèles de diffusion. Chacune de ces approches présente un compromis entre la qualité des échantillons, la stabilité de l'apprentissage et le coût de calcul.

Modèles génératifs communs

• auto-encodeurs variationnels
• réseaux antagonistes génératifs
• Modèles de diffusion
• modèles autorégressifs
• Normalisation des flux

L'évaluation est complexe. Les scores de vraisemblance favorisent certaines familles, tandis que la qualité visuelle en favorise d'autres. Aucun indicateur unique ne permet de déterminer si les échantillons générés sont utiles, diversifiés et fidèles à la distribution d'entraînement.