AI Compendium — Koder

Base de conhecimento de referência para o desenvolvimento da IA da Koder (Kode). Compilada em abril de 2026. Atualizar conforme novos marcos surgirem.

Estrutura

Diretório Conteúdo
01-fundamentos/ Paradigmas, livros, papers fundacionais, teoria (pré-Transformer), AGIASIAIXI
02-arquiteturas/ Transformer, atenção, MoE, SSMs, arquiteturas alternativas
03-modelos/ Catálogo completo de famílias de LLMs (open-source e proprietários)
04-treinamento/ Pré-treino, pós-treino (SFTDPORLVR), datasets, dados sintéticos
05-inferencia/ Quantização, speculative decoding, KV cache, servidores
06-hardware/ GPUs NVIDIA/AMD, ASICs, aceleradores de borda, memória HBM, interconexão, energia, refrigeração
07-frameworks/ PyTorch/JAX, treino distribuído, fine-tuning, agentes, observabilidade
08-benchmarks/ Benchmarks gerais, código, agentes, multimodal, ciências
09-aplicacoes/ Vida, física, matemática, visão, áudio, vídeo, 3D, world models
10-seguranca/ Alinhamento, interpretabilidade, red teaming, safety
11-infraestrutura/ Cluster self-hosted, MLOps para modelos grandes, orquestração de GPUs

Índice Completo de Arquivos

01-fundamentos

  • paradigmas.md — Preditivo vs generativo, discriminativo vs generativo formal, regimes de supervisão, mapa cruzado com a timeline
  • livros.md — Livros essenciais de ML/IA (Goodfellow, Bishop, Murphy, Sutton & Barto)
  • papers-fundacionais.md — 60+ papers por era: 1943–2026
  • agi-asi-superinteligencia.md — Definições AGIASIAIXI; paper From AGI to ASI (DeepMind 2026, arXiv 2606.12683); 4 caminhos, 6 atritos, limites da superinteligência

02-arquiteturas

  • transformer-e-atencao.md — Transformer, MQA, GQA, MLA, NSA, CSA+HCA, MSA, FlashAttention, RoPE, MoE
  • arquiteturas-alternativas.md — SSMs (Mamba), xLSTM, RWKV, Liquid (LTCCfCLFM), JEPA, dLLMs (difusão de linguagem — DiffusionGemma), híbridos
  • paradigmas-alternativos.md — Neurosimbólico (AlphaGeometry, DreamCoder, ∂ILP), Tsetlin Machines, HDCVSA, Forward-Forward, Predictive Coding, EBMHopfield Moderno, Active Inference
  • multimodal.md — Flamingo, Chameleon, LLaVA-NeXT, treinamento cross-modal

03-modelos

  • open-source.md — Llama 4, Qwen3.x, DeepSeek V4, Mistral Small 4, Gemma 4 + DiffusionGemma, Phi-4, Kimi K2.6, MiniMax M3, Nemotron 3, OLMo Hybrid, Command A
  • proprietarios.md — GPT-5.x, Claude Mythos, Gemini 3.1 Pro, Grok 4.3, MAI (Microsoft, Build 2026); SWE-bench e Arena Elo

04-treinamento

  • pre-treino.md — Scaling laws, curadoria, paralelismo, ZeRO, FSDP
  • pos-treino.md — SFT, DPO, GRPO, RLVR, PRMs, test-time compute
  • datasets.md — FineWeb, RedPajama, The Stack, MATH, UltraChat e mais
  • dados-sinteticos.md — Self-Instruct, Alpaca, Orca, Phi Textbooks, MetaMath
  • data-pipeline.md — Crawler, dedup (MinHash/SimHash), filtros de qualidade, PII scrubbing
  • economia.md — Custo por escala (7B30B70B), build vs fine-tune vs API, roadmap

05-inferencia

  • quantizacao.md — GPTQ, AWQ, GGUF, BitsAndBytes, TurboQuant, BitNet, NVFP4
  • speculative-decoding.md — EAGLE-123, P-EAGLE, Medusa, Lookahead, MTP, QuantSpec
  • kv-cache.md — PagedAttention, RadixAttention, H2O, SnapKV, MLA, TurboQuant
  • servidores.md — vLLM, SGLang, TGI, llama.cpp, Ollama, TensorRT-LLM, MLC-LLM

06-hardware

  • gpus-nvidia.md — A100, H100, H200, B100B200B300, GB200 NVL72, RTX 4090/5090
  • gpus-outros-asics.md — AMD MI300XMI355XMI450, Google TPU v4–v7 IronwoodTPU 8t8i, AWS Trainium3, Intel Gaudi, Groq, Cerebras
  • edge-acceleradores.md — Edge/on-device: Google Coral NPU (RISC-V, open-source) + CoralBoard rodando Gemma 3 270M on-device; Edge TPU, Jetson Orin Nano, Hailo, Rockchip NPU, Apple ANE, Qualcomm Hexagon
  • cpu-x86-extensions.md — AVX-512 VNNI, AMX, AVX10, ACE (white paper AMD+Intel, abr/2026), x86 Ecosystem Advisory Group
  • memoria-interconexao.md — HBM 1–4e, GDDR7, NVLink, NVSwitch, InfiniBand, PCIe, CXL
  • neuromorfico.md — Intel Loihi 2, IBM NorthPole, SpiNNaker 2, BrainScaleS-2, InnateraSynSense; SNN training (surrogate gradients, ANN-SNN, STBP); snnTorchNorse/Lava
  • energia-refrigeracao-recursos.md — Consumo de energia, PUE, WUE, minerais críticos, sustentabilidade

07-frameworks

  • treinamento-distribuido.md — PyTorch, JAX, DeepSpeed, FSDP, Megatron-LM, ColossalAI
  • fine-tuning.md — PEFT, LoRA, QLoRA, TRL, Axolotl, LLaMA-Factory, Unsloth
  • inferencia-local.md — Setup local: Ollama, llama.cpp, vLLM, integração com editores
  • agentes.md — Taxonomia de autonomia L1–L5 (survey DeepSeek) + 4 padrões arquiteturais + 6 problemas abertos; LangChain, LangGraph, DSPy, smolagents, Pydantic AI, Strands, OpenAI Agents SDK, Claude Agent SDK
  • protocolos.md — MCP, A2A, ACP, AGNTCY, NLIP, OpenAI-compat, Bedrock Converse, Computer Use, AP2, x402, OTel GenAI semconv, OASF
  • observabilidade.md — LangFuse, Phoenix, W&B, MLflow, métricas de produção, OTEL

08-benchmarks

  • gerais-raciocinio.md — MMLU, ARC, GSM8K, MATH, AIME, Humanity's Last Exam, GPQA, ARC-AGI-2
  • codigo.md — HumanEval, SWE-bench Verified, LiveCodeBench, BigCodeBench, RepoBench
  • agentes-long-context.md — GAIA, τ-bench, WebArena, OSWorld, RULER, HELMET, NIAH, GDPval, SWE-Bench Pro, Agent-SafetyBench
  • multimodal-ciencias.md — MMMU, DocVQA, MedQA, LegalBench, Video-MME, ChatBot Arena
  • avaliacao-continua.md — Eval loop privado, LLM-as-a-judge, canary strings, contaminação, drift

09-aplicacoes

  • ciencias-vida.md — AlphaFold 23, ESM-123, Evo 12, GNoME, drug discovery
  • ciencias-fisicas-matematica.md — GraphCast, AlphaProof, FermiNet, plasma fusion, quantum ML
  • visao-imagem.md — ViT, CLIP, SAM 1/2, Stable Diffusion, FLUX.1, DALL-E 3, VLMs
  • audio-fala.md — Whisper, Moshi, F5-TTS, EnCodec, MusicGen, GPT-4o Realtime
  • video-3d-world-models.md — Sora 2, Veo 3, HunyuanVideo, NeRF, Gaussian Splatting, DreamerV3, Genie 2, Cosmos
  • imagem-medica.md — MRIDICOMneuroimagem: FreeSurferFastSurferSynthSeg, nnU-NetTotalSegmentator, MedSAM2BiomedParseVISTA3D, MedGemmaMedImageParse, NeuroQuant/icobrain (clínico), TopCoW (MRA); PoC empírico meningioma

10-seguranca

  • interpretabilidade.md — SAEs, circuits, features, Gemma Scope, TransformerLens, MIT 2026, vetores de emoção em Claude
  • alinhamento.md — Constitutional AI, RLHF, Constitutional Classifiers, red teaming, jailbreaks, HarmBench, EU AI Act (full applicability ago/2026)

11-infraestrutura

Entradas rápidas — os mais importantes

Papers incontornáveis

  • Attention Is All You Need (2017) — arXiv:1706.03762 — base de tudo
  • Scaling Laws (Kaplan 2020) — arXiv:2001.08361
  • Chinchilla (Hoffmann 2022) — arXiv:2203.15556 — ótimo de compute
  • DeepSeek-R1 (2025) — arXiv:2501.12948 — RLVR em larga escala
  • TurboQuant (Google/ICLR 2026) — arXiv:2504.19874 — compactação KV cache 6×

Modelos abertos prioritários para Kode

  • Qwen2.5-Coder-32B — melhor relação tamanho/performance para código
  • DeepSeek-V3/R1 — raciocínio de fronteira, MIT license
  • Llama 4 Scout — 10M context; MoE nativo multimodal; Llama License
  • Kimi K2.6 — SWE-Bench Pro líder open; 256K; agentic coding
  • Gemma 4 31B — melhor open por parâmetro; Apache 2.0; multimodal

Stack de desenvolvimento do Kode

  • Fine-tuning: Axolotl + TRL + Unsloth
  • Inferência: vLLM (produção) + SGLang (alternativa)
  • Eval: lm-evaluation-harness + SWE-bench runner
  • Observabilidade: Weights & Biases + LangFuse

Última atualização: 2026-05-22 (adicionados paradigmas-alternativos.md + neuromorfico.md + protocolos.md; expandido arquiteturas-alternativas.md com Liquid NN e JEPA; Camada D acrescentada ao /k-ia-compendium para manter linhas de pesquisa alternativas atualizadas; split de protocolos do compendium em arquivo dedicado)

2026-06-04 (Microsoft Build 2026, 02/06): família *MAI (Microsoft AI) em proprietarios.md — primeiros foundation models próprios da MS, treinados do zero sem destilação; padrão Autopilots / agentes always-on com identidade governada (Scout/Entra) em agentes.md; Microsoft IQ / Web IQ*(grounding MCP-native) em protocolos.md. Fonte: vídeo "AI Revolution" verificado contra blogs primários Microsoft.)*

2026-06-17: novo paradigma *dLLM (difusão de linguagem) em 02-arquiteturas/arquiteturas-alternativas.md — seção dedicada + linha na tabela comparativa, ancorada no DiffusionGemma*(Google DeepMind, 1006, 26B-A4B MoE Gemma 4, difusão discreta, blocos de 256 tokens em paralelo, 1000+ toks H100 / ~4× vs AR, Apache 2.0); entry correspondente no catálogo 03-modelos/open-source.md (família Gemma). Fonte: post oficial do canal "Google for Developers" verificado contra ai.google.dev, DeepMind e o model card no Hugging Face.*

2026-06-16: novo 01-fundamentos/agi-asi-superinteligencia.md — definições *AGIASIAIXI, paper From AGI to ASI*(DeepMind, arXiv 2606.12683, 10/06), 4 caminhos (scaling / paradigm shift / auto-melhoria recursiva / coletivos multiagentes), 6 atritos e limites físicos da superinteligência; entry correspondente em papers-fundacionais.md (Era 11). Fonte: vídeo "AI Revolution em Português" verificado contra o arXiv e cobertura primária (deepmind.google, alphaXiv).*