Modelos Open-Source — Catálogo Completo

Atualizado em abril de 2026. Foco em modelos viáveis para base/fine-tuning do Kode.

---

Llama (Meta)

Llama 4 — Paper: arXiv:2601.11659 (jan/2026) Llama 4 Behemoth: 288B-A288B (16 experts) — modelo "professor" ainda em treinamento; usado para codistilação do Scout e Maverick. Links: meta.llama.com · huggingface.co/meta-llama

---

Qwen (Alibaba)

Qwen 3 — Paper: arXiv:2505.09388. Inovação chave: thinking budget — aloca compute de raciocínio adaptativamente por prompt. Qwen3-VL — Paper: arXiv:2511.21631. Análise de vídeo de até 2 horas. Qwen3-72B: primeiro modelo open a superar GPT-4o no MMLU-Pro. Links: qwenlm.github.io · huggingface.co/Qwen

---

DeepSeek

Arquitetura: V2V3V3.2 = Multi-Head Latent Attention (MLA) + DeepSeekMoE. V4 substitui MLA por CSA + HCA (atenção híbrida) mantendo o DeepSeekMoE — KV cache cai para ~2% do baseline BF16 GQA8 em 1M de contexto. Links: deepseek.com · huggingface.co/deepseek-ai

DeepSeek-V4 — Detalhes Técnicos (abr/2026)

Paper: DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence (24042026) PDF: huggingface.codeepseek-aiDeepSeek-V4-Problobmain/DeepSeek_V4.pdf

Código liberado (MIT):

• Inferência V4 (modelo + kernels específicos): huggingface.co/deepseek-ai/DeepSeek-V4-Pro/tree/main/inference — referência canônica citada no §2.3 do paper. (NÃO há repo github.com/deepseek-ai/DeepSeek-V4 — o código fica no HF.)
• Repos GitHub correlatos (github.com/deepseek-ai/): TileKernels (kernel lib em TileLang, atualizado 23042026 junto do V4) · DeepGEMM (FP8 GEMM kernels, atualizado 24042026) · FlashMLA (kernels de Multi-head Latent Attention — usados em V2/V3, mantidos para compat) · DeepEP (expert-parallel comm).
• Projeto irmão (não-V4): deepseek-ai/Engram — Conditional Memory via Scalable Lookup (jan/2026, Apache 2.0). Trabalho separado da DeepSeek; não integrado ao V4 (paper do V4 não cita Engram). Vídeos de divulgação têm conflado Engram com a CSA+HCA do V4 — são coisas distintas.

Inovações arquiteturais:

• Compressed Sparse Attention (CSA): Comprime cada m KV entries em uma única entrada via pooling com softmax-gate e positional bias aprendido; depois aplica DeepSeek Sparse Attention (DSA) com lightning indexer que seleciona top-k blocos comprimidos por query. Resultado: 1M tokens com ~27% dos FLOPs e ~10% do KV cache do V3.2.
• Heavily Compressed Attention (HCA): Compressão mais agressiva (m' >> m), dense (sem sparse selection); intercalada com camadas CSA na hybrid architecture. V4-Flash chega a 10% dos FLOPs e 7% do KV em 1M.
• Lightning indexer em FP4: As queries QK do indexer rodam em FP4 (MXFP4) — index scores quantizados de FP32 para BF16 dão 2× speedup no top-k selector com 99.7% de recall.
• Atenção complementar: Sliding-window branch (n_win KVs uncompressed mais recentes) + attention sink com logits learnable + partial RoPE (só nos últimos 64 dims das queriesKVsoutputs).
• Manifold-Constrained Hyper-Connections (mHC): Restringe a matriz residual ao manifold de matrizes doubly-stochastic (Birkhoff polytope) via Sinkhorn-Knopp 20 iters; garante spectral norm ≤ 1 (mapeamento non-expansive), eliminando instabilidade numérica do HC convencional em stacks profundos.
• Muon Optimizer: Substitui AdamW para a maioria dos módulos (AdamW persiste em embedding, prediction head, biases estáticos, gating do mHC, RMSNorm). Usa Hybrid Newton-Schulz: 8 iters com coefs (3.4445, −4.7750, 2.0315) para convergência rápida + 2 iters com (2, −1.5, 0.5) para estabilizar singular values em 1. Sem QK-Clip (RMSNorm em queries/KV é suficiente).
• MoE alterado vs V3: activation function Sigmoid → Sqrt(Softplus); sequence-wise balance loss + auxiliary-loss-free; hash routing nas primeiras camadas (substitui dense FFN inicial); removida a constraint de número de routing target nodes.
• MTP (Multi-Token Prediction): Mantido idêntico ao V3.
• Raciocínio cross-tool: Mantém histórico de raciocínio completo entre tool calls (V3.2 descartava).
• Três modos de raciocínio: Non-Think / Think High / Think Max (via token <think>).

KV cache híbrido — engenharia de inferência (§3.6):

• Heterogeneous KV cache: dois componentes — classical block cache (CSA Indexer KV + CSA Main KV + HCA KV, block size = lcm(m, m')) + state cache per-request (SWA KV + tail tokens uncompressed ainda não prontos para compressão).
• On-disk KV cache para shared-prefix reuse: elimina re-prefill repetido em prompts longos compartilhados.
• Mixed-precision storage: RoPE dims em BF16, demais dims em FP8 → ~50% de economia vs BF16 puro. Esse esquema, somado a CSA+HCA, leva o KV cache em 1M para ~2% do baseline BF16 GQA8.

Treinamento (§3):

• FP4 Quantization-Aware Training (QAT): MXFP4 aplicada a (1) MoE expert weights e (2) caminho QK do indexer em CSA. FP4-to-FP8 dequantization é lossless (E4M3 absorve as scales dos sub-blocks 1×32 dentro de blocks 128×128 FP8). Pesos FP4 reais usados em inferência e RL rollout.
• Determinismo bitwise train↔inference: separate accumulation buffers por SM no attention backward; token-order pre-processing + buffer isolation no MoE backward; split-k mHC com redução em kernel separado.
• Hybrid ZeRO para Muon (Muon precisa do gradient matrix completo — ZeRO clássico assume optimizers element-wise): knapsack para parâmetros densos, flatten dos experts MoE para distribuição uniforme; gradients sincronizados em BF16 com stochastic rounding (–50% comm); reduce-scatter substituído por all-to-all + sum FP32 local.
• mHC overhead apenas 6.7% do wall-time do pipeline 1F1B — graças a fused kernels + recomputação seletiva + ajuste do DualPipe.
• TileLang DSL para desenvolvimento de kernels (substrato de todos os custom kernels).

Pós-treino em 2 fases:

1. SFT + GRPO por domínio especializado
2. Consolidação via distilação on-policy

Benchmarks V4-Pro-Max:

Preços API (vs concorrentes):

• V4-Flash: \(0.14/M tokens (vs GPT-5-Nano: \)0.20)
• V4-Pro: \(1.74/M tokens (vs Claude Sonnet 4.6: \)3.00)

---

Mistral

Mistral Small 4 (16032026): Combina reasoning (Magistral), visão (Pixtral) e coding agentic (Devstral) num único modelo. 128 experts com 6B ativos por token. Voxtral TTS (23032026): Primeira aposta de áudio da Mistral; open-weights; suporte: EN, FR, DE, ES, NL, PT, IT, HI, AR. Leanstral: Primeiro agente open-source para verificação formal em Lean 4; 6B ativos; vem com FLTEval (suite de avaliação). Links: mistral.ai · huggingface.co/mistralai

---

Gemma (Google)

DiffusionGemma (10062026): primeiro modelo de difusão de linguagem open-weights da família — gera blocos de 256 tokens em paralelo em vez de token-a-token autorregressivo. Mesma base Gemma 4 (26B MoE / 4B ativos), multimodal (texto+imagem+vídeo→texto), 18 GB VRAM quantizado, integração MLXvLLMHFUnsloth + NVFP4. Trade-off: throughput ~4× ao custo de qualidade abaixo do Gemma 4 AR — ideal para infillediçãoauto-correção em tempo real. Detalhe arquitetural em [[..02-arquiteturas/arquiteturas-alternativas]] § Modelos de Difusão de Linguagem.

Gemma 4 (02042026): Construída sobre a mesma tecnologia do Gemini 3. Primeira vez que a família Gemma usa Apache 2.0 em todos os tamanhos. Suporte a texto, imagens, áudio e código; 140+ idiomas.

Gemma 4 31B — Benchmarks:

Links: ai.google.devgemma · huggingface.cogoogle · deepmind.googlemodelsgemma

---

Phi (Microsoft)

Links: huggingface.comicrosoft · microsoft.comresearch

---

Kimi K2.6 (Moonshot AI)

Kimi K2.6 (20042026): 384 experts (8 selecionados + 1 shared), 61 camadas, 64 attention heads, MLA, visão com MoonViT (400M params). Sistema Agent Swarm escala até 300 sub-agentes com 4.000 passos coordenados.

Benchmarks K2.6:

Para o Kode: Interessante para agentic coding em contexto amplo; licença permite uso comercial.

---

MiniMax M3 (MiniMax AI)

MiniMax M3 (01062026): primeiro modelo open-weight a juntar coding de fronteira, contexto de 1M tokens e multimodalidade nativa num único modelo. Entradas de texto, imagem e vídeo → saída de texto; opera desktop (computer use). Treino mixed-modality desde o passo 0, com pipeline reconstruído para dados interleaved (texto+imagem na mesma sequência), escalado à ordem de 100T tokens. Contagem de parâmetros/experts não divulgada no anúncio; tech report + pesos prometidos ~10 dias após o lançamento.

Arquitetura: Sparse MoE + MSA (MiniMax Sparse Attention) — seleção esparsa de blocos KV sobre KV não-comprimido (contraste com a MLA e a CSADSA do DeepSeek, que comprimem). Em 1M de contexto: computetoken ≈ 120 do M2, prefill ~9.7× e decoding ~15.6× mais rápidos. Detalhe em `02-arquiteturastransformer-e-atencao.md` (seção MSA).

Benchmarks M3:

Para o Kode: forte candidato a agentic coding + contexto longo + multimodal, a um custo reportado de ~5–10% do de GPT-5.5Gemini 3.1 Pro. Atenção à licença: open-weight porém com condições de uso comercial (não é MITApache puro) — revisar termos antes de adotar. Ainda não contemplado na base local da Koder (services/ai/runtime/models.yaml e enum de famílias do modelreg não incluem MiniMax; só há referência como provider de nuvem no services/ai/ai/cli). Candidato a inclusão quando os pesos forem publicados.

---

Nemotron 3 (NVIDIA)

Nemotron 3 Super (03042026) — Relatório técnico: research.nvidia.comlabsnemotronfilesNVIDIA-Nemotron-3-Super-Technical-Report.pdf

LatentMoE: Nova arquitetura MoE que projeta expert weights num espaço latente compartilhado, reduzindo parâmetros totais enquanto mantém capacidade. Melhor accuracy por parâmetro e por FLOP que MoEs regulares.

NVIDIA Nemotron Coalition: Black Forest Labs, Cursor, LangChain, Mistral AI, Perplexity, Reflection AI, Sarvam, Thinking Machines Lab — construindo juntos o Nemotron 4.

---

OLMo (Allen AI)

OLMo 3 — Paper: arXiv:2512.13961. Inclui checkpoints intermediários, todos os dados, dependências. OLMo Hybrid (05032026): Combina attention layers (Transformer) com linear RNN layers. Atinge mesma accuracy do OLMo 3 com 49% menos tokens. Treinado em NVIDIA H100 → B200. Primeiro modelo SOTA treinado em B200s em produção.

---

Command A (Cohere)

Paper: arXiv:2504.00698 (Cohere, abr/2026). Algoritmos de alinhamento próprios: SRPO (Self-Rewarding Preference Optimization) e CoPG (Contrastive Preference Gradient). Multi-phase polish pipeline para entrega enterprise.

---

Outros Relevantes

---

Modelos de Código Especializados

---

Modelos de Código Especializados

---

Recomendação para o Kode