IA em Vídeo, 3D e World Models

Geração de Vídeo

Sora (OpenAI, 2024–2025)

• Lançamento: Fevereiro 2024 (demo); dezembro 2024 (acesso)
• Arquitetura: Video Diffusion Transformer (DiT em espaço-tempo)
• Capacidade: Vídeos até 1 minuto; múltiplas relações de aspecto; física coerente
• Mecanismo: "Spacetime patches" — treats frames como tokens 3D
• Sora 2 (2025): Maior resolução; melhor física; geração de personagens consistentes

Veo 3 / Veo 3.1 (Google DeepMind, 2025)

• Lançamento: Google I/O 2025
• Destaque: Geração de áudio nativo junto com vídeo (sincronização lábio-som)
• Qualidade: Competitivo com Sora; física mais coerente em alguns casos
• Veo 3.1: Maior resolução; efeitos sonoros realistas

HunyuanVideo (Tencent, 2024)

• arXiv: 2412.03603
• Open-source: Sim; pesos públicos
• Especificações: 13B parâmetros; 720p a 5s; melhor open-source disponível
• Qualidade: Próximo de Sora na maioria dos casos

CogVideoX (Zhipu AI / Tsinghua, 2024)

• arXiv: 2408.06072
• Open-source: Sim (Apache 2.0)
• Variantes: 2B e 5B parâmetros

LTX-Video (Lightricks, 2024)

• Open-source: Sim
• Destaque: Geração muito rápida (poucos segundos em A100)
• Tamanho: 2B parâmetros; boa qualidade para tamanho

Kling (Kuaishou, 2024)

• Acesso: API; kuaishou.com/keling
• Destaque: Física realista de faces e corpos; popular na Ásia

Runway Gen-3 Alpha (2024)

• Proprietário: Runway ML
• Destaque: Coerência temporal; personagens consistentes; integração com câmera virtual

---

Representação 3D

NeRF — Neural Radiance Fields (2020)

• arXiv: 2003.08934 (Mildenhall et al., UC Berkeley)
• Mecanismo: MLP que mapeia (x, y, z, θ, φ) → (cor, densidade); ray marching para render
• Resultado: Reconstrução 3D fotorrealista a partir de múltiplas imagens
• Variantes: Instant-NGP (1000× mais rápido), NeRF-W (in the wild), Mip-NeRF

3D Gaussian Splatting (2023)

• arXiv: 2308.04079
• Mecanismo: Representa cena como nuvem de Gaussianas 3D com cor e opacidade; rasterização
• Velocidade: Render em tempo real (30+ FPS vs NeRF que é lento)
• Qualidade: Similar ao NeRF; muito mais rápido para interatividade
• Impacto: Novo padrão para reconstrução 3D interativa

Shap-E (OpenAI, 2023)

• arXiv: 2305.02463
• Mecanismo: Diffusion de parâmetros de NeRF implícitos
• Input: Texto ou imagem → objeto 3D
• Open-source: Sim

TRELLIS (Microsoft, 2024)

• arXiv: 2412.01506
• Mecanismo: 3D Gaussian Splatting + Mesh via flow matching
• Qualidade: Estado da arte em geração 3D a partir de texto/imagem

Hunyuan3D-2 (Tencent, 2025)

• Mecanismo: Multi-view diffusion + reconstrução 3D
• Open-source: Sim
• Resultado: Objetos 3D de alta qualidade em segundos

Zero-1-to-3 / Zero123++ (Columbia, 2023)

• arXiv: 2303.11328
• Mecanismo: Dado 1 imagem, gera views a partir de qualquer ângulo
• Uso: Base para muitos sistemas de reconstrução 3D

---

World Models — Simuladores do Mundo com IA

DreamerV3 (DeepMind, 2023)

• arXiv: 2301.04104
• Mecanismo: Aprende modelo do mundo → planeja e age dentro do modelo (imaginação)
• Resultado: Mastered Minecraft diamond collection sem reward shaping; funciona em 150+ domínios
• Arquitetura: RSSM (Recurrent State Space Model) + atenção

Genie 2 (DeepMind, 2024)

• Lançamento: Dezembro 2024
• Mecanismo: Aprende mundos 3D interativos a partir de vídeo
• Capacidade: Dado 1 imagem, gera mundo 3D navegável e interativo
• Resolução: 360p a 30fps por ~1 minuto com consistência

GameNGen (Google, 2024)

• arXiv: 2408.14837
• Mecanismo: Diffusion model que simula DOOM em tempo real (20 FPS)
• Destaque: Primeiro jogo real simulado por rede neural em tempo real
• Prova de conceito: Jogos como neural networks

DIAMOND / WHAM

• Pesquisa: Simulação de jogos de Atari via diffusion
• Resultado: Aprendizado de reinforcement learning dentro do modelo aprendido

---

Cosmos (NVIDIA, 2025)

• Lançamento: CES 2025 / GTC 2025
• Foco: World Foundation Models para robótica e veículos autônomos
• Variantes: Cosmos-1.0 (1B a 14B parâmetros)
• Capacidade: Geração de vídeo fisicamente consistente; re-renderização de cenas
• Open-source: Sim (parte dos pesos)
• Uso: Synthetic data para treinar robôs; simulação de cenários de condução

---

Video Understanding (Análise de Vídeo)

VideoLLaMA / Video-LLaVA

• Mecanismo: Encoder de vídeo + LLM para QA e descrição
• Uso: Análise de conteúdo, descrição automática, busca semântica em vídeo

Gemini 2.5 Pro / Vídeo

• Capacidade: Contexto de 1M tokens → processa vídeos de 1+ hora
• Resultado: QA preciso sobre vídeos longos (documentários, reuniões, aulas)

---

Benchmarks de Vídeo

---

Tabela Comparativa de Geração de Vídeo (2025)