Parte IV · Cap. 02 — Modelo de Difusão

draft

*Conexionista · Geração de imagem (e áudio/vídeo) · U-Net / DiT + processo de difusão.* Gera dados aprendendo a reverter um processo gradual de ruído. Card: ../02-tipos-de-ia/02-conexionista.kmd.

🎨 Figura F-IV.2.0 — Do ruído à imagem. Brief: sequência de quadros mostrando ruído puro virando uma imagem nítida em passos de denoising; seta de "forward" (adiciona ruído) e "reverse" (remove). Paleta do Compêndio.

Modelo de Difusão

1. Definição e história curta

Modelo generativo que aprende a inverter uma cadeia de adição de ruído gaussiano. Linhagem: DDPM (2020) → latent diffusion/Stable Diffusion (2022) → DiT e flow matching (2023+). Substituiu as GANs como estado da arte em geração de imagem (ver Parte III, era 6).

2. Fundamentos

  • Física / mecânica estatística — difusão e processos de Langevin inspiram o

    método.

  • Probabilidade / processos estocásticos — cadeia de Markov de ruído; SDEs.
  • Teoria da medida — formulação contínua (score-based / SDE).
  • Álgebra linear e cálculo — score = gradiente do log-densidade.
  • Teoria da informação — ELBO como objetivo variacional.

3. Algoritmos e arquiteturas

  • Forward — adiciona ruído gaussiano em T passos até ruído puro.
  • Reverse — rede prevê o ruído (ou o score) a cada passo; denoising.
  • Backbone — U-Net (convolucional) ou DiT (Transformer sobre patches).
  • Latent diffusion — difusão no espaço latente de um VAE (barateia muito).
  • Condicionamento — texto via cross-attention (CLIP/T5); *classifier-free

    guidance*; ControlNet (poses, bordas).

  • Amostragem acelerada — DDIM, solvers (DPM-Solver), destilação (turbo).

4. Insumos

  • Hardware: GPU (treino e inferência); inferência mais leve que LLM mas

    multi-passo.

  • Dados: pares imagem-texto em escala web (LAION-like), filtrados.
  • Estruturas de dados: tensores de imagem, latentes do VAE, embeddings de

    texto.

  • Sistemas: PyTorch/diffusers; schedulers de ruído; pipelines de guidance.

5. Ciclo de vida especializado

Etapa Especialização
0 Problema Definir geração-alvo (imagemáudiovídeo), condição (texto?), qualidade
1 Dados Pares imagem-texto, deduplicação, filtragem (NSFW, qualidade, aesthetics)
2 EDA Distribuição de resoluções, captions, vieses do dataset
3 Modelagem U-Net vs DiT, espaço latente (VAE), scheduler, condicionamento
4 Treino Prever ruído/score; checkpointing; longo e custoso
5 Avaliação FID, CLIP-score, avaliação humana de fidelidade e alinhamento ao prompt
5.5 Homologação Filtros de segurança (conteúdo), red team de prompts, marca d'água
6 Produção Sampling em N passos, guidance, aceleração (DDIM/destilação), filas
7 Monitoramento Qualidade, latência por passo, abuso/conteúdo proibido
8 Retreino Novos dados/estilos, fine-tuning (LoRA, DreamBooth)
9 Governança Proveniência, copyright de estilo, marca d'água, consentimento

6. Capacidades, modos e modalidades

Forte em modo artístico/visual: texto→imagem, inpainting, outpainting, super-resolução, edição; estende-se a áudio, música e vídeo. Criatividade = amostragem condicionada ([metáfora], não "imaginação").

7. Limites, riscos e ética

Custo multi-passo; deepfakes e desinformação; vieses estéticos/representação; copyright de estilo; conteúdo nocivo. Mitigações: filtros, marca d'água (C2PA), curadoria de dados.

8. Estado da arte e exemplos

Stable Diffusion 3, DALL·E, Midjourney, Imagen, FLUX; tendência: flow matching, DiT, geração de vídeo (ver cap. 10), destilação para tempo real.