Zajjal semmisíts meg egy képet, majd tanuld meg visszafordítani a folyamatot. A diffúziós modellek úgy tanulnak, hogy fokozatosan adnak zajt az adatokhoz, majd lépésről lépésre megtanulják a zajszűrést. Betanítás után tiszta zajból indulhatnak ki, és új mintákat generálhatnak, amelyek a betanítási eloszláshoz hasonlítanak.

Ez a megközelítés számos mai képgenerátort működtet. A minőség magas, a betanítási cél pedig stabil a generatív adverzális hálózatokhoz képest, amelyek módösszeomlástól és instabil dinamikától szenvedhetnek.

Kulcsfontosságú szakaszok

• Előrehaladás, zaj hozzáadása sok lépésben
• Fordított folyamat, a zajszűrés megtanulása
• Mintavételezés, véletlenszerű zajból generálás
• Kondicionálás, kimenet irányítása szöveggel vagy más bemenettel

Az ára a sebesség. Egyetlen kép létrehozása több tucat vagy több száz hálózati áthaladást igényelhet. A desztilláció és a gyorsabb mintavevők csökkentik a lépésszámot, de a diffúzió továbbra is számításigényesebb, mint egyes alternatívák.