Extensões de IA em CPUs x86

CPUs x86 acumulam, há cerca de uma década, extensões ISA dedicadas a acelerar o bloco central de redes neurais — multiplicação de matrizes em precisões reduzidas (INT8, BF16, FP8). A linha do tempo abaixo cobre as extensões que um runtime de inferência (vLLM, llama.cpp, ONNX Runtime, oneDNN) detecta e explora ao rodar fora de GPU.

AVX-512 VNNI (Vector Neural Network Instructions)

  • Vendor: Intel (Cascade Lake, 2019); AMD (Zen 4, 2022).
  • Instruções: VPDPBUSD (INT8 dot-product+accumulate em INT32),

    VPDPWSSD (INT16).

  • Ganho típico: 2–4× em GEMM INT8 vs. AVX-512 BW puro.
  • Onde aparece: kernels INT8 do oneDNN, llama.cpp Q4/Q8, ONNX Runtime

    CPU EP.

AMX (Advanced Matrix Extensions)

  • Vendor: Intel apenas; estreia em Sapphire Rapids (Xeon 4ª gen,

    2023). Continuou em Emerald/Granite Rapids.

  • Modelo: 8 tiles (registros 2D, até 1 KB cada) + unidade TMUL

    executando multiplicação de matrizes em uma instrução.

  • Formatos nativos: INT8, BF16 (FP16 adicionado em Granite Rapids).
  • Ganho típico: ordem de 8× sobre AVX-512 VNNI em GEMM denso BF16.
  • Status no AMD: ausente — uma das motivações para o ACE (ver abaixo).

AVX10

  • Vendor: Intel (anúncio 2023); AMD comprometeu suporte via EAG (2024).
  • Objetivo: unificar o ISA vetorial entre P-cores e E-cores, encerrando a

    fragmentação do AVX-512 (que sumiu dos chips de consumo Intel desde Alder Lake).

  • Versões:
    • AVX10.1 (2024): baseline 256-bit + opcional 512-bit, mesmas

      instruções do AVX-512.

    • AVX10.2 (2024): novas conversões e instruções de embedding, base

      para o ACE.

ACE (AI Computing Extensions)

  • Vendor: AMD + Intel, via x86 Ecosystem Advisory Group (EAG).
  • White paper: publicado 30042026.
  • Posicionamento: "Standard Matrix Acceleration Architecture for x86" —

    primeiro padrão de aceleração de matrizes comum aos dois fabricantes.

  • Mecanismo: extensão do AVX10 com aceleração baseada em *roduto

    externo*(outer product), em vez de FMA por elemento.

  • Formatos nativos: INT8, OCP FP8, OCP MXFP8, OCP MXINT8,

    BF16 — alinhado ao OCP Microscaling spec.

  • Densidade computacional: 16× vs. operação FMA AVX10 equivalente

    (mesmos vetores de entrada).

  • Compatibilidade: reaproveita otimizações AVX10 existentes;

    habilitação por software em andamento (compiladores, oneDNN, libxsmm, LLVM).

  • Por que importa para inferência local: reduz a fricção de mover

    workloads de IA para acceleradores externos. Servidores e edge boxes que hoje rodam Q4/Q8 em llama.cpp passam a ter, no mesmo socket, tiles de matriz nativos em formatos OCP — o ponto que a Intel cobria sozinha com AMX vira agora terreno comum AMD/Intel.

Contexto — x86 Ecosystem Advisory Group (EAG)

Formado em out/2024 por Intel e AMD para padronizar o futuro do x86. Anunciou quatro recursos cross-vendor:

Recurso Função
FRED Flexible Return and Event Delivery — substituto de IDT para handling de interrupções
AVX10 ISA vetorial unificado P/E-cores
ChkTag Memory tagging para hardening (análogo ao MTE do ARM)
ACE Aceleração de matrizes para IA

CEO da NVIDIA (Jensen Huang) declarou publicamente em 2025/2026 que a aliança era necessária para manter o x86 vivo num cenário dominado por ARM no datacenter (GravitonCobalt) e GPUsTPUs em IA.

Tabela comparativa

Extensão Vendor Ano Tipo Ganho típico vs. anterior
AVX-512 VNNI Intel + AMD 2019/2022 SIMD INT8 dot-product 2–4× sobre AVX-512 BW
AMX Intel 2023 Tiles 2D + TMUL ~8× sobre VNNI BF16
AVX10.1/.2 Intel + AMD 2024 ISA vetorial unificado Paridade P/E-cores
ACE Intel + AMD 2026 Outer-product matrix accel 16× sobre AVX10 FMA

Implicações para o stack Koder

  • Roteamento de inferência (policies/sdk-first.kmd, services/ai/kode):

    ao detectar AMX ou ACE no host, runners CPU passam a ser candidatos viáveis para modelos quantizados pequenos (Phi-4, Gemma 4 9B, Qwen 7B) sem GPU local — relevante para nós edge da Koder Stack.

  • Quantização (05-inferencia/quantizacao.md): suporte nativo a

    OCP MXFP8/MXINT8 no ACE alinha CPU e GPU no mesmo formato de inferência, eliminando conversões de runtime.

  • Benchmark suite (08-benchmarks/): vale adicionar uma faixa de

    CPU-only em hardware Sapphire/Granite Rapids (AMX) e, quando ACE estiver disponível em silício real (esperado 2027+), refazer a tabela Llama 70B com a coluna CPU-x86.

Referências