IA em Visão e Geração de Imagens

Fundamentos de Visão

ViT — Vision Transformer

• arXiv: 2010.11929 (Dosovitskiy et al., Google, 2020)
• Mecanismo: Divide imagem em patches → trata cada patch como token → Transformer padrão
• Resultado: Match com CNNs em ImageNet com dados suficientes
• Impacto: Unificou visão e linguagem; base de quase todos os VLMs modernos

CLIP (OpenAI, 2021)

• arXiv: 2103.00020
• Mecanismo: Treina encoder de imagem e texto para alinhar representações (contrastive learning)
• Dados: 400M pares imagem-texto da internet
• Capacidade: Zero-shot image classification; busca por texto em imagens
• Impacto: Base de Stable Diffusion, DALL-E 2, Midjourney e centenas de outros

SigLIP (Google, 2023)

• arXiv: 2303.15343
• Melhoria sobre CLIP: Sigmoid loss (não softmax); mais eficiente; melhor qualidade
• Adoção: Gemma 3, PaliGemma, muitos VLMs modernos

DINOv2 (Meta, 2023)

• arXiv: 2304.07193
• Treinamento: Auto-supervisionado (sem labels); distilação de conhecimento consigo mesmo
• Features: Representações densas; excelente para segmentação, depth estimation
• Uso: Base para modelos de segmentação e depth

---

Segmentação

SAM — Segment Anything Model (Meta, 2023)

• arXiv: 2304.02643
• Dados: SA-1B: 1B masks em 11M imagens (maior dataset de segmentação)
• Capacidade: Segmenta qualquer objeto dado ponto, caixa ou texto como prompt
• Zero-shot: Funciona sem treinamento adicional

SAM 2 (Meta, 2024)

• arXiv: 2408.00714
• Extensão: Segmentação em vídeo — rastreia objetos através de frames
• Velocidade: 44 FPS em vídeo
• Usos: Edição de vídeo, tracking médico, AR

---

Geração de Imagens com Diffusion

Stable Diffusion 1.x / 2.x (Stability AI, 2022)

• arXiv: 2112.10752 (LDM — Latent Diffusion Models)
• Mecanismo: Diffusion no espaço latente (4× comprimido) → mais eficiente
• CLIP: Texto condicionado por CLIP text encoder
• Open-source: Pesos abertos; base do ecossistema open de geração de imagens

Stable Diffusion 3 / 3.5 (Stability AI, 2024)

• arXiv: 2403.03206 (SD3)
• Arquitetura: Multimodal Diffusion Transformer (DiT com text tokens e image tokens integrados)
• Melhoria: Tipografia (texto em imagens), composição de múltiplos objetos
• SD 3.5 Large: 8B parâmetros; estado da arte open-source

FLUX.1 (Black Forest Labs, 2024)

• Origem: Time original do Stable Diffusion (Robin Rombach et al.)
• Variantes: flux-dev (open), flux-schnell (open), flux-pro (API)
• Arquitetura: Flow matching + Transformer; sem UNet
• Qualidade: Melhor tipografia e realismo que SD3 em muitos casos

AuraFlow (Fal, 2024)

• Open-source: Sim; arquitetura Flow Matching
• Alternativa: FLUX.1 de menor custo computacional

---

Geração com Modelos Proprietários

DALL-E 3 (OpenAI, 2023)

• Mecanismo: Treinado com captions sintéticas geradas por GPT-4 (vs captions originais)
• Resultado: Melhor fidelidade texto-imagem; texto em imagens
• Integração: ChatGPT; API da OpenAI

GPT-4o Native Image Generation (2025)

• Novo: GPT-4o gera imagens nativamente (sem DALL-E separado)
• Capacidade: Edição de imagem com contexto; precisão em texto

Midjourney v6 / v7 (2024–2025)

• Empresa: Independente
• Destaque: Realismo fotográfico; estética; muito usado por artistas
• Acesso: Discord + web; sem API pública

Imagen 3 (Google, 2024)

• Cascaded diffusion com text encoder T5-XXL
• Qualidade: Competitivo com DALL-E 3; integrado ao Google Workspace

---

Controle e Personalização

ControlNet (2023)

• arXiv: 2302.05543
• Mecanismo: Condicionamento adicional (pose, profundidade, borda, segmentação) via redes paralelas
• Impacto: Permite controle preciso de composição sem re-treinar SD

IP-Adapter (2023)

• arXiv: 2308.06721
• Mecanismo: Adapter que condicionam SD sobre imagem de referência (style/content)
• Uso: "Gere imagem neste estilo" sem fine-tuning

LoRA para Imagens

• DreamBooth: Fine-tuna SD em 3–20 imagens de um conceito
• LoRA: Adapter leve; pode representar personagem, estilo, objeto
• Civitai: Comunidade de LoRAs de imagem

---

Super-Resolução e Restauração

Real-ESRGAN

• Upscaling: 4× com artifacts reais
• Uso: Restauração de fotos antigas, upscaling de vídeo

BSRGAN / SwinIR

• Restauração de imagens degradadas (desfoque, ruído, compressão JPEG)

---

Vision-Language Models (VLMs)

---

Benchmarks de Visão