Ødelegg et bilde med støy, og lær deretter å reversere prosessen. Diffusjonsmodeller trenes ved gradvis å legge til støy i dataene, og deretter lære å fjerne støy trinn for trinn. Når de er trent, kan de starte fra ren støy og generere nye prøver som ser ut som treningsfordelingen.

Denne tilnærmingen driver mange av dagens bildegeneratorer. Kvaliteten er høy, og treningsmålet er stabilt sammenlignet med generative, motstanderiske nettverk, som kan lide av moduskollaps og ustabil dynamikk.

Viktige stadier

• Fremovergående prosess, legger til støy over mange trinn
• Omvendt prosess, læring av støyfjerning
• Sampling, generering fra tilfeldig støy
• Betinging, veiledning av utdata med tekst eller annen input

Kostnaden er hastighet. Generering av et enkelt bilde kan kreve dusinvis eller hundrevis av nettverkspasseringer. Destillasjon og raskere samplere reduserer antall trinn, men diffusjon er fortsatt mer beregningsintensiv enn noen alternativer.