分類を行うモデルもあれば、生成を行うモデルもある。生成モデルは、データの基となる分布を学習し、そこからサンプリングすることで、訓練データセットに類似した新しい例を生成する。つまり、データにラベルを付ける方法だけでなく、データがどのように生成されるかという問いにも答えるのだ。

古典的な例としては、ナイーブベイズモデルやガウス混合モデルが挙げられる。現代的なアプローチはニューラルネットワークに依存しており、変分オートエンコーダー、敵対的生成ネットワーク、拡散モデルなどが挙げられる。それぞれ、サンプル品質、学習の安定性、計算コストのトレードオフが存在する。

一般的な生成モデル

• 変分オートエンコーダー
• 敵対的生成ネットワーク
• 拡散モデル
• 自己回帰モデル
• フローの正規化

評価は難しい。尤度スコアは特定の系統群に有利に働き、視覚的な品質は別の系統群に有利に働く。生成されたサンプルが有用で、多様性があり、訓練データの分布に忠実であるかどうかを単一の指標で捉えることはできない。