Сначала нужно зашумить изображение, а затем научиться делать обратный процесс. Диффузионные модели обучаются, постепенно добавляя шум к данным, а затем шаг за шагом обучаясь удалению шума. После обучения они могут начать с чистого шума и генерировать новые образцы, похожие на обучающее распределение.

Этот подход используется во многих современных генераторах изображений. Качество изображения высокое, а целевая функция обучения стабильна по сравнению с генеративными состязательными сетями, которые могут страдать от коллапса режимов и нестабильной динамики.

Ключевые этапы

• Прямой процесс, добавляющий шум на многих этапах.
• Обратный процесс: обучение шумоподавлению.
• Выборка, генерация из случайного шума
• Обработка, управление выводом с помощью текста или других входных данных.

Цена — скорость. Для генерации одного изображения может потребоваться десятки или сотни проходов по сети. Дистилляция и более быстрые сэмплеры сокращают количество шагов, но диффузия по-прежнему требует больших вычислительных ресурсов, чем некоторые альтернативные методы.