Man zerstört ein Bild durch Rauschen und lernt dann, diesen Prozess umzukehren. Diffusionsmodelle werden trainiert, indem Daten schrittweise verrauscht werden und anschließend gelernt wird, das Rauschen schrittweise zu entfernen. Nach dem Training können sie von reinem Rauschen ausgehen und neue Stichproben generieren, die der Trainingsverteilung ähneln.

Dieser Ansatz bildet die Grundlage vieler heutiger Bildgeneratoren. Die Qualität ist hoch, und das Trainingsziel ist im Vergleich zu generativen adversariellen Netzwerken, die unter Modenkollaps und instabiler Dynamik leiden können, stabil.

Wichtige Phasen

• Vorwärtsprozess, bei dem über viele Schritte hinweg Rauschen hinzugefügt wird
• Umgekehrter Prozess, das Erlernen der Rauschunterdrückung
• Abtastung, Erzeugung aus zufälligem Rauschen
• Konditionierung, Steuerung der Ausgabe durch Text oder andere Eingaben

Der Preis dafür ist die Geschwindigkeit. Die Erzeugung eines einzelnen Bildes kann Dutzende oder Hunderte von Netzwerkdurchläufen erfordern. Destillation und schnellere Sampler reduzieren die Anzahl der Schritte, aber Diffusion bleibt rechenintensiver als einige Alternativen.