Resultado: modelo pré-treinado com NSA iguala ou supera Full Attention em benchmarks gerais, long-context e instruction reasoning. Speedups substanciais em 64k tokens em decodingforwardbackward.
Importância para o compendium:Predecessor direto do CSA (Compressed Sparse Attention) usado no DeepSeek-V4 — V4 cita "DeepSeek-AI 2025" para a estratégia DSA aplicada dentro do CSA. NSA estabeleceu o padrão "compression + selection" que CSA refinou e HCA estendeu.
Hybrid CSA + HCA (DeepSeek-V4)
Paper: DeepSeek-V4 §2.3 (24042026)
Compressed Sparse Attention (CSA): comprime cada m tokens em 1 KV entry via softmax-gate aprendido com positional bias; depois aplica DeepSeek Sparse Attention (DSA) — um lightning indexer (queries low-rank em FP4 + ReLU) seleciona top-k blocos por query.
Heavily Compressed Attention (HCA): mesmo esquema de compressão com fator m' ≫ m, mas dense (sem sparse selection); intercalada com camadas CSA.
Resultado em 1M tokens: ~27% dos FLOPs de single-token e ~10% do KV cache vs DeepSeek-V3.2; ~2% do baseline BF16 GQA8 — viabiliza 1M de contexto em hardware corrente.
Detalhes complementares em 03-modelos/open-source.md (seção DeepSeek-V4) e em 05-inferencia/kv-cache.md (Heterogeneous KV Cache).
Modelo: MiniMax-M3 (01062026) — ver 03-modelos/open-source.md (seção MiniMax).
Premissa de design: atenção esparsa por seleção de blocos KV — para cada query seleciona dinamicamente um subconjunto de blocos KV em vez de atender a toda a sequência. Descrita pela MiniMax como "arquitetura de atenção esparsa limpa e facilmente extensível".
Diferença vs. a linha DeepSeek: ao contrário de MLA (que comprime QKV num espaço latente) e de CSA/DSA (que comprimem blocos antes de selecionar), o MSA opera sobre KV não-comprimido — seleciona blocos KV em precisão cheia, evitando a perda de precisão da compressão em contexto longo. É o ponto "selection sem compression" do espaço de design, complementar ao "compression + selection" do NSA→CSA.
Resultado em 1M tokens: compute por token ≈ 1/20 do da geração anterior (M2); prefill >9× mais rápido (9.7×) e decoding >15× mais rápido (15.6×) vs. M2 no mesmo contexto.
Status do compendium: relatório técnico e pesos prometidos para liberação ~10 dias após o lançamento (não publicados na data de registro). Números acima são da nota oficial da MiniMax; confirmar contagem de heads/blocos quando o tech report sair.
FlashAttention 123
Problema: Atenção padrão é limitada pela largura de banda de memória (O(n²) em memória)
Solução: Algoritmo IO-aware; calcula atenção em blocos — evita materializar a matriz completa na HBM
FlashAttention 1 (Dao et al., 2022) — arXiv:2205.14135 — base
FlashAttention 2 (2023) — melhor paralelismo, melhor ocupação das GPUs
FlashAttention 3 (2024) — otimizado para Hopper (H100); pipelining assíncrono; 75% das FLOPS teóricas
Integrado em: PyTorch, vLLM, SGLang, TensorRT-LLM, todos os principais frameworks
Encodificação Posicional
RoPE — Rotary Positional Embedding
arXiv: 2104.09864
Mecanismo: Codifica posição relativa via matrizes de rotação no espaço complexo
Vantagem: Naturalmente relativo; decaimento suave da atenção com distância