Manche Modelle klassifizieren, andere erzeugen neue Daten. Generative Modelle lernen die zugrundeliegende Datenverteilung und können daraus Stichproben ziehen, um neue Beispiele zu generieren, die dem Trainingsdatensatz ähneln. Sie beantworten die Frage, wie Daten entstehen, nicht nur, wie man sie kennzeichnet.

Klassische Beispiele sind der Naive-Bayes-Algorithmus und Gaußsche Mischungsmodelle. Moderne Ansätze basieren auf neuronalen Netzen: Variations-Autoencodern, generativen adversariellen Netzen und Diffusionsmodellen. Jeder dieser Ansätze birgt ein gewisses Risiko hinsichtlich Stichprobenqualität, Trainingsstabilität und Rechenaufwand.

Gängige generative Modelle

• Variationelle Autoencoder
• Generative adversarial networks
• Diffusionsmodelle
• Autoregressive Modelle
• Normalisierungsflüsse

Die Bewertung ist schwierig. Wahrscheinlichkeitswerte sprechen für einige Familien. Die visuelle Qualität spricht für andere. Keine einzelne Kennzahl erfasst, ob die generierten Stichproben nützlich, vielfältig und der Trainingsverteilung entsprechend sind.