Arquiteturas Alternativas ao Transformer

Pesquisadas como alternativas para eficiência em contexto longo, inferência mais rápida e menor consumo de memória.

---

State Space Models (SSMs)

Mamba / Mamba-2

• arXiv: 2312.00752 | ICLR 2024
• Autores: Albert Gu & Tri Dao
• Mecanismo: SSM seletivo — parâmetros de estado são função do input (selectivity); linear em tempo de sequência
• Vantagens vs Transformer:
  • O(n) em memória vs O(n²) da atenção
  • 5× maior throughput na inferência
  • Escala para sequências de 1M+ tokens
• Desempenho: Mamba-3B supera Transformers 3B; iguala Transformers 6B em algumas métricas
• Modelos que usam: Jamba (AI21 Labs — híbrido Mamba+Transformer), Zamba
• GitHub: github.comstate-spacesmamba

S4 (Structured State Spaces)

• arXiv: 2111.00396
• Antecessor do Mamba: primeiro SSM de alta performance para sequências longas
• Melhoria: Mamba adicionou seletividade que S4 não tinha

---

Redes Recorrentes Modernas

xLSTM — Extended Long Short-Term Memory

• arXiv: 2405.04517 | NeurIPS 2024 Spotlight
• Autores: Maximilian Beck et al. (ELLIS Institute)
• Inovações:
  • sLSTM: memória escalar com memory mixing e gating exponencial
  • mLSTM: memória matricial totalmente paralelizável com atualizações de covariância
• Desempenho: Competitivo com Transformers e SSMs em scaling

RWKV — Receptance Weighted Key Value

• arXiv: 2305.13048 | EMNLP 2023
• Autores: Peng et al.
• Mecanismo: Pode ser formulado como Transformer (treino paralelo) ou RNN (inferência O(1))
• Vantagem: Inferência de custo constante sem KV cache; memória fixa
• Desempenho: RWKV-14B compete com Transformer-14B

---

Mecanismos de Atenção Híbrida e Linear

RetNet — Retentive Network

• arXiv: 2307.08621
• Microsoft Research
• Mecanismo: Retention — três paradigmas: paralelo (treino), recorrente (inferência O(1)), chunkwise (sequências longas O(n))
• Vantagem: Training parallelism + low-cost inference + boa performance

Infini-Attention

• arXiv: 2404.07143
• Google
• Mecanismo: Memória compressiva + atenção local mascarada + atenção linear
• Compressão: 114× de redução de memória
• Resultado: LLM 1B escala para 1M de contexto; 8B SOTA em resumo de 500K livros

Linear Attention

• Conceito: Aproxima a atenção softmax com complexidade O(n) usando kernel tricks
• Variantes: Performer, FNet, cosFormer, GLA (Gated Linear Attention)

---

Liquid Neural Networks

Família de arquiteturas inspiradas em sistemas dinâmicos contínuos (EDOs) — neurônios com dinâmica não-linear contínua no tempo, em vez de discretizada como em RNN/Transformer.

Liquid Time-Constant Networks (LTC)

• arXiv: 2006.04439 | AAAI 2021 | Hasani, Lechner et al. (MIT CSAIL)
• Mecanismo: ODEs com constantes de tempo learnable — cada neurônio é função do estado anterior + input via integrador contínuo.
• Resultado emblemático: 19 neurônios pilotaram drone em tarefa de visual lane-following onde CNN+LSTM precisava de milhões de params.

Closed-form Continuous-time Networks (CfC)

• Nature Machine Intelligence 4, 992-1003 (2022) | Hasani et al.
• Vantagem sobre LTC: forma fechada da ODE — dispensa solver numérico, 10-100× mais rápido em treino e inferência mantendo expressividade.

Liquid Foundation Models (LFM)

• Liquid AI, 2024-2026 — comercialização das ideias acadêmicas em escala foundation.
• LFM-1B / LFM-3B / LFM-40B (MoE) — competitivos com Llama/Mistral em accuracy com constante de memória durante inferência longa.
• LFM2 (2026) — segunda geração focada em edge; ver entrada em "Híbridas" abaixo.
• Site: liquid.ai

Para o Kode

• Promissor para edge (mobile/desktop on-device); revisitar quando koder_kit precisar de modelos dedicados a tasks pequenas com latência sub-segundo.

---

Joint Embedding Predictive Architectures (JEPA)

Paradigma não-generativo de self-supervised learning: prediz embeddings de partes mascaradas no espaço latente, não pixels/tokens. Resumo conceitual aqui; aprofundamento em [[paradigmas-alternativos]] sob "JEPA".

I-JEPA (Image-JEPA)

• arXiv: 2301.08243 | CVPR 2023 | Meta AI (LeCun group)
• Comparado com MAE: accuracy similar em ImageNet linear probe com menos compute.

V-JEPA / V-JEPA 2

• V-JEPA: Bardes et al., 2024 — vídeo SSL.
• V-JEPA 2: Meta 2025 — 2M+ horas; transferência zero-shot para controle robótico.

Por que está aqui

JEPA é considerado por LeCun a base arquitetural de world models futuros que substituiriam LLMs autorregressivos como caminho para AGI/AMI. Não compete com Transformer em geração de linguagem; compete em representação para perception + ação.

Para o Kode

• Se a Stack ganhar vision encoder próprio (Eye 2.0, screen understanding), JEPA é candidato a pretraining mais eficiente que CLIP/SigLIP.

---

Modelos de Difusão de Linguagem (dLLMs)

Paradigma de geração não-autorregressiva: em vez de prever 1 token por vez da esquerda para a direita (AR), o modelo parte de uma sequência mascarada/ruidosa e a refina em paralelo por blocos através de passos de difusão discreta (discrete denoising) até convergir no texto final. Troca a latência sequencial (O(n) passos) por um número fixo e pequeno de passos de refinamento — ganho grande de throughput, ao custo de alguma qualidade vs AR equivalente.

DiffusionGemma (Google DeepMind, 10062026)

• O quê: primeiro modelo de difusão de linguagem open-weights da família Gemma — experimental, exploração de text diffusion em escala. Pesos google/diffusiongemma-26B-A4B-it no Hugging Face.
• Arquitetura: 26B total / 4B ativos MoE (8 de 128 experts ativos), construído sobre a arquitetura Gemma 4, mas com cabeça de geração por difusão discreta em vez de decoding AR. Gera blocos de 256 tokens em paralelo.
• Multimodal: entrada texto + imagem + vídeo → saída texto. Contexto 256K; 140+ idiomas.
• Velocidade: 1.000+ tokens/s no NVIDIA H100, 700+ tokens/s na RTX 5090 — Google reporta até 4× mais rápido que o Gemma 4 autorregressivo equivalente.
• Footprint: cabe em 18 GB de VRAM quantizado (GPU de consumo high-end). Integração nativa: MLX, vLLM, Hugging Face, Unsloth, com kernels otimizados NVIDIA NVFP4.
• Sweet spot: workflows não-lineares — code infilling, edição inline, auto-correção em tempo real (o refinamento por bloco permite reescrever qualquer posição, não só append).
• Trade-off (declarado pelo próprio Google): qualidade de saída inferior ao Gemma 4 padrão; para trabalho de produção com qualidade máxima a recomendação continua sendo o Gemma 4 autorregressivo. Posicionado como ferramenta de baixa latência / alto throughput, não substituto geral.
• Licença: Apache 2.0.
• Links: ai.google.devgemmadocsdiffusiongemma · deepmind.googlemodelsgemmadiffusiongemma · huggingface.cogooglediffusiongemma-26B-A4B-it

Linhagem dos dLLMs

• LLaDA (2025) — Large Language Diffusion with mAsking; primeiro dLLM open de 8B competitivo com LLaMA-3 8B, prova de conceito de que difusão escala em linguagem.
• Mercury (Inception Labs, 2025) — dLLM comercial focado em código; primeiros a comercializar a vantagem de throughput (≈1000+ tok/s) para coding assistants.
• Gemini Diffusion (Google, demo I/O 2025) — protótipo interno que antecedeu o DiffusionGemma; mostrou a viabilidade da difusão de texto na escala Google.

Para o Kode

• Caso de uso real: autocomplete / infill / "ghost text" do editor e auto-correção em tempo real são latency-bound, não quality-bound — exatamente o regime onde um dLLM ganha do AR. Candidato a engine de completions inline (separado do modelo de chat/raciocínio AR).
• Edge: os 18 GB quantizados + integração MLX/vLLM colocam o DiffusionGemma dentro do alcance de uma estação de dev; revisitar quando o koder_kit precisar de completions on-device de baixíssima latência.
• Não usar como modelo principal de raciocínio/agente — a própria Google sinaliza qualidade abaixo do Gemma 4 AR.

---

Arquiteturas Híbridas

Jamba (AI21 Labs, 2024)

• Combina: Transformer (self-attention) + Mamba (SSM) + MoE
• Vantagem: Melhor eficiência de KV cache do Mamba com expressividade do Transformer

Zamba (Zyphra, 2024)

• Combina: Mamba + camadas de atenção periódicas
• Tamanhos: 2.7B, 7B — competitivo para modelos pequenos

OLMo Hybrid (Allen AI, 2026)

• Combina: Transformer attention layers + Linear RNN layers (RWKV-style)
• Resultado: Mesma accuracy que OLMo 3 usando 49% menos tokens de pré-treino (2× data efficiency)
• Primeiro SOTA treinado em B200s (Lambda infra)
• Paper: allenai.orgpapersolmo-hybrid

LFM2-24B-A2B (Liquid AI, 2026)

• Combina: Liquid Foundation Model (LFM) + atenção linear
• Foco: Edge deployment e on-device inference
• Resultado: Aborda "scaling bottlenecks" de LLMs tradicionais em hardware limitado

---

Multi-Memory Architectures

Google Titans (2025)

• Mecanismo: 3 tipos de memória num único modelo:
  • Memória de curto prazo: Atenção local na janela de contexto imediato
  • Memória de longo prazo: Neural memory module — aprende a comprimir e recuperar informações de contextos passados
  • Memória persistente: Parâmetros do modelo (conhecimento fixo de treino)
• Contexto: Escala além de 2M tokens com custo linear
• Diferencial: A memória de longo prazo é aprendida durante fine-tuning, não heurística

DeepSeek Engram (2026)

• arXiv: 2601.07372 · Código: github.comdeepseek-aiEngram (Apache 2.0)
• Premissa: MoE escala capacidade via conditional computation; Engram introduz conditional memory como nova axis de sparsity — complementar (não substitutiva) ao MoE.
• Mecanismo: N-gram embedding tables massivas e estáticas injetadas em camadas Transformer. Para cada posição, hash de sequências de 2-3 tokens → lookup O(1) na tabela. Modernização do classic N-gram embedding.
• Sparsity Allocation Problem: Lei de scaling U-shaped que governa o trade-off entre computação neural (MoE) e memória estática (Engram). Ótimo empírico: 75-80% compute + 20-25% memory.
• Resultados (27B, iso-params + iso-FLOPs vs MoE baseline): MMLU +3.4, CMMLU +4.0, BBH +5.0, ARC-Challenge +3.7, HumanEval +3.0, MATH +2.4. Multi-Query NIAH long-context: 84.2 → 97.0 (delegar dependências locais ao lookup libera atenção para contexto global).
• Diferencial vs RAG: Memória paramétrica integrada (não retrieval externo); decisões de "lookup vs compute" são fim a fim treináveis.
• Status no V4: NÃO integrado ao DeepSeek-V4 (paper jan2026 vs paper V4 abr2026). Trabalhos paralelos da DeepSeek; vídeos de divulgação têm conflado os dois.

---

Novas Arquiteturas MoE

LatentMoE (NVIDIA, 2026)

• Introduzido em: Nemotron 3 Super
• Mecanismo: Expert weights são projetados num espaço latente compartilhado — não são pesos independentes
• Resultado: Melhor accuracy por parâmetro E por FLOP que MoEs regulares
• Efeito: Modelo menor com capacidade de um MoE maior; throughput 2.2–7.5× superior em inferência

---

Comparação de Arquiteturas

---

Nota sobre Relevância para Kode

Os modelos de fronteira em 2026 são todos Transformers ou MoE-Transformers. Arquiteturas alternativas são interessantes para:

• Contextos >1M tokens: Titans ou OLMo Hybrid (linear scaling)
• Hardware limitado: LFM2/Liquid, RWKV (O(1) inference)
• Eficiência de treino: Híbridos com linear RNN (2× data efficiency)
• Latência de geração (infill/completions): dLLMs (DiffusionGemma) — geração por blocos paralelos, ~4× throughput vs AR no mesmo tamanho

Para Kode v1: usar Transformer/MoE padrão. Revisitar híbridos quando houver necessidade de contexto de repositório inteiro (>500K tokens).

---

Ver também

• [[paradigmas-alternativos]] — neurosimbólico, Tsetlin, HDC, Forward-Forward, EBM, Active Inference, aprofundamento JEPA
• [[..06-hardwareneuromorfico]] — Loihi 2, NorthPole, SpiNNaker; SNN training (casa com Forward-Forward e Predictive Coding)