Destrua uma imagem com ruído e depois aprenda a reverter o processo. Os modelos de difusão são treinados adicionando ruído gradualmente aos dados e, em seguida, aprendendo a remover o ruído passo a passo. Uma vez treinados, podem começar com ruído puro e gerar novas amostras que se assemelham à distribuição de treino.

Esta abordagem alimenta muitos dos geradores de imagens atuais. A qualidade é elevada e o objetivo do treino é estável em comparação com as redes generativas adversárias, que podem sofrer de colapso de modo e dinâmica instável.

Etapas principais

• Processo direto, adicionando ruído ao longo de várias etapas
• Processo inverso, aprender a remover ruído.
• Amostragem, geração a partir de ruído aleatório
• Condicionamento, direccionamento da saída com texto ou outra entrada.

O custo é a rapidez. Gerar uma única imagem pode exigir dezenas ou centenas de passagens pela rede. A destilação e os amostradores mais rápidos reduzem o número de etapas, mas a difusão continua a ser mais intensiva em termos de computação do que algumas alternativas.