Parte IV · Cap. 04 — Vision Transformer (ViT)

draft

Conexionista · Visão · Transformer. Aplica atenção a patches de imagem, unificando visão e linguagem sob a mesma arquitetura. Card: ../02-tipos-de-ia/02-conexionista.kmd.

🎨 Figura F-IV.4.0 — Imagem como sequência de patches. Brief: imagem recortada em grade de patches, cada patch virando um token com setas de atenção entre eles; ao lado, o mesmo bloco Transformer da figura do LLM, mostrando a unificação.

Vision Transformer

1. Definição e história curta

Trata a imagem como sequência de patches e a processa com um Transformer encoder. Linhagem: ViT (2020) → DeiT, Swin, DINO (auto-supervisão), CLIP (texto↔imagem), SAM (segmentação). Tornou-se base dos modelos multimodais.

2. Fundamentos

  • Álgebra linear — atenção softmax(QKᵀ/√d)V sobre patches.
  • Probabilidade / auto-supervisão — pré-treino contrastivo (CLIP) e masked

    (MAE).

  • Linguística + óptica — alinhamento texto-imagem (CLIP) une as modalidades.
  • Teoria do aprendizado — ViT precisa de mais dados que CNN (menos prior

    espacial), mas escala melhor.

3. Algoritmos e arquiteturas

  • Patch embedding — divide a imagem, projeta cada patch em vetor + posição.
  • Encoder Transformer — atenção global desde a 1ª camada.
  • Pré-treino — supervisionado, contrastivo (CLIP), ou *asked

    autoencoding*(MAE/DINO).

  • Variantes — Swin (janelas hierárquicas), híbridos conv-ViT.

4. Insumos

  • Hardware: GPU; treino exige grandes datasets/compute.
  • Dados: imagens (e pares imagem-texto para CLIP) em escala web.
  • Estruturas de dados: tensores de patches, embeddings conjuntos texto-imagem.
  • Sistemas: mesmos do Transformer (PyTorch/JAX, paralelismo).

5. Ciclo de vida especializado

Etapa Especialização
0 Problema Classificação, retrieval texto-imagem, segmentação, base multimodal
1 Dados Imagens/pares imagem-texto (LAION), filtragem e deduplicação
2 EDA Cobertura de conceitos, viés de caption, contaminação
3 Modelagem ViTSwin, tamanho de patch, objetivo (contrastivomasked)
4 Treino Pré-treino em escala + fine-tune; CLIP usa contrastive loss
5 Avaliação Zero-shot (CLIP), acurácia, retrieval, robustez
5.5 Homologação Testes de viés, robustez, integração como encoder multimodal
6 Produção Encoder de features para busca/multimodal; quantização
7 Monitoramento Drift de domínio, qualidade de retrieval
8 Retreino Novos conceitos, fine-tuning de domínio
9 Governança Viés de representação, privacidade, uso em vigilância

6. Capacidades, modos e modalidades

Espacial/visual + ponte para linguística (CLIP): classificação zero-shot, busca texto↔imagem, base perceptual de LLMs multimodais (ver cap. 14).

7. Limites, riscos e ética

Fome de dados; herda vieses dos captions; mesmos riscos de visão (vigilância, representação). Menos prior espacial que CNN (precisa de escala).

8. Estado da arte e exemplos

CLIP, DINOv2, SAM, Swin; ViT é hoje o encoder visual padrão dos modelos multimodais de fronteira.