Parte IV · Cap. 10 — Modelo de Vídeo
Conexionista · Vídeo · DiT espaço-temporal (difusão). Gera vídeo coerente no tempo a partir de texto/imagem. Card:
../02-tipos-de-ia/02-conexionista.kmd.
🎨 Figura
F-IV.10.0— Coerência no tempo. Brief: sequência de quadros gerados, com setas de atenção temporal ligando objetos entre frames (consistência de identidade/movimento).
1. Definição e história curta
Estende a difusão à dimensão temporal, gerando clipes coerentes. Linhagem: GANs de vídeo → difusão de vídeo → Sora, Veo, Kling, Runway (2024+). É a modalidade de geração mais cara em compute.
2. Fundamentos
- Física / óptica — movimento, iluminação, consistência física.
- Probabilidade / processos estocásticos — difusão (cap. 02) no tempo.
- DSP / compressão — codecs e latentes espaço-temporais.
- Geometria — coerência 3D implícita, câmera.
3. Algoritmos e arquiteturas
- Latente espaço-temporal — VAE 3D comprime vídeo.
- DiT espaço-temporal — difusão com atenção temporal + espacial.
- Condicionamento — texto, imagem inicial, keyframes, câmera.
- Coerência — atenção entre frames; consistência de identidade/movimento.
4. Insumos
- Hardware: GPU/TPU pesado; memória é o gargalo (sequências longas).
- Dados: vídeo + captions; licenciamento e curadoria caros.
- Estruturas de dados: tensores 5D (tempo), latentes espaço-temporais.
- Sistemas: pipelines de vídeo; geração por janelas/chunks.
5. Ciclo de vida especializado
| Etapa | Especialização |
|---|---|
| 0 Problema | Duração, resolução, FPS, controle (textoimagemcâmera) |
| 1 Dados | Vídeo+texto licenciado, deduplicação, filtragem |
| 2 EDA | Distribuição de cenas/movimento, qualidade, vieses |
| 3 Modelagem | VAE 3D + DiT temporal; condicionamento; janela temporal |
| 4 Treino | Extremamente custoso; checkpointing; treino por estágios |
| 5 Avaliação | Qualidade, coerência temporal, alinhamento ao prompt, física |
| 5.5 Homologação | Deepfake safeguards, marca d'água (C2PA), filtros de conteúdo |
| 6 Produção | Geração por chunks; alto custo/latência; filas |
| 7 Monitoramento | Qualidade, custo, abuso (desinformação) |
| 8 Retreino | Novos estilos, maior duração/resolução |
| 9 Governança | Desinformação, deepfakes, direitos de imagem, consentimento |
6. Capacidades, modos e modalidades
Visualtemporalartístico: clipes a partir de texto/imagem, animação, efeitos, storyboard. Convergindo com world models (simulação de dinâmica).
7. Limites, riscos e ética
Custo de compute altíssimo; incoerências físicas/temporais; deepfakes de vídeo e desinformação; direitos de imagem e dados. Marca d'água de proveniência é crítica.
8. Estado da arte e exemplos
Sora, Veo, Kling, Runway Gen-3; tendência: clipes mais longos, controle de câmera, áudio sincronizado, e ponte para world models (cap. relacionado: robótica).