GPUs Não-NVIDIA e ASICs para IA

AMD — Linha Instinct (Data Center)

MI300X (2024)

• Diferencial: Maior VRAM por GPU no mercado até B300
• Modelos grandes: Llama 70B cabe em 1 GPU sem sharding
• Software: ROCm 6.x; PyTorchCUDA compatible via HIP; vLLMSGLang support
• Adoção: Microsoft Azure, Google Cloud, Oracle Cloud

MI355X (2025)

• Concorrente direto ao H200/B100
• Software AMD ROCm 6.3+

MI450 (2026)

• HBM4: bandwidth 3.7× maior que MI300X
• Projetado para competir com GB200

---

Google — TPU (Tensor Processing Unit)

TPU v4 (2021)

• Chips por pod: 4,096
• Compute: 275 TFLOPS BF16 por chip
• Interconexão: 3D torus ICI (Inter-Chip Interconnect)
• Uso: Treino PaLM, Gemini 1.0

TPU v5e (2023)

• Foco: Eficiência; menor custo por token
• Configuração: 256 chips por slice
• Compute: 197 TFLOPS BF16 por chip
• Uso: Gemini 1.5 Pro inference; workloads de custo-eficiência

TPU v5p (2023)

• Foco: Performance máxima de treino
• Compute: 459 TFLOPS BF16 por chip
• Configuração: 8,960 chips no maior pod
• Uso: Treino dos Gemini frontier

TPU v6 "Trillium" (2024)

• Compute: 918 TFLOPS BF16 por chip (~4.7× vs v4)
• HBM: 32 GB HBM2e por chip
• ICI: 1.2 TB/s total
• Uso: Gemini 2.x training e inference

TPU v7 "Ironwood" (nov/2025)

• Compute: 4,614 TFLOPS por chip — analistas: "on par with Blackwell"
• Uso: Gemini 3 training
• Comparação: Considerado pari passu com GB200 de NVIDIA em workloads Google-optimizados

TPU 8t / TPU 8i (abr/2026 — Google Cloud Next)

• TPU 8t: Otimizado para treino de modelos
• TPU 8i: Otimizado para inferência de modelos (novo produto)
• Contexto: Lançados no Google Cloud Next 2026 como reforço à competição com NVIDIA

Nota de mercado: Anthropic fechou o maior contrato de TPU da história do Google — centenas de milhares de Trillium TPUs em 2026, escalando para 1M até 2027.

Acesso: Google Cloud (TPU VMs, Google Kubernetes Engine) Frameworks: JAX (nativo), PyTorch/XLA, TensorFlow

---

AWS — Trainium e Inferentia

Trainium 2 (2024)

• Fabricante: Amazon (TSMC 3nm)
• Compute: ~840 TFLOPS BF16 por chip
• Configuração: Trn2.48xlarge: 16 Trainium 2 chips
• HBM: 96 GB HBM3e por chip
• Interconexão: NeuronLink v2 (168 GB/s peer-to-peer)
• Cluster: EFA (Elastic Fabric Adapter) para até 65,536 chips
• Framework: AWS Neuron SDK (PyTorch compatible)

Trainium 3 (dez/2025)

• Compute: 2.52 PFLOPS FP8 por chip — confirmado pela AWS
• HBM: 144 GB HBM3e por chip
• Status: Shipping desde dezembro 2025
• Contexto: Amazon treinou modelos da Anthropic em 500K chips Trainium 2 em seu datacenter em Indiana

Inferentia 2 (2023)

• Foco: Inferência de baixo custo e latência
• Compute: 190 TFLOPS BF16
• HBM: 32 GB HBM
• Caso de uso: Instâncias inf2 no EC2

---

Intel — Gaudi

Gaudi 3 (2024)

• Software: Intel Gaudi SDK (PyTorch/TensorFlow compatible)
• Preço: ~40% mais barato que H100 equivalente
• Limitação: Ecosistema menor; menos kernels otimizados
• Parceiro: OEM em servidores Dell, HP

---

Cerebras — Wafer-Scale Engine

WSE-3 (2024)

• Conceito: CPU/GPU inteira fabricada como um único wafer de silício
• Vantagem: Latência zero entre cores (on-chip SRAM vs HBM)
• Limitação: Sem HBM; modelos pequenos muito rápidos; grandes precisam de particionamento
• Uso: Treino de modelos específicos; research de scaling

---

Groq — LPU (Language Processing Unit)

• Arquitetura: Streaming; determinística; sem cache de KV (re-computa)
• Velocidade: 800 tokens/segundo com Llama 3 70B (100× mais rápido que GPU comparável)
• Latência: < 1ms time-to-first-token
• Limitação: Menor throughput em batch; custo alto por chip
• Uso: Demos de velocidade; aplicações sensíveis a latência
• API: groq.com/api

---

SambaNova — SN40L

• Arquitetura: Reconfigurable Dataflow Architecture (RDA)
• Inovação: Socket Design — CPU + GPU + banco de memória integrados
• On-chip SRAM: 520 MB por RDU
• Vantagem: Eficiência energética em inferência de modelos grandes
• Uso: Enterprise; modelos fine-tuned

---

Graphcore — IPU (Intelligence Processing Unit)

• Diferença: Bulk Synchronous Parallel; grafo computacional estático
• Foco: Sparsidade; grafos de conhecimento
• Status (2025): Adquirido pela SoftBank; futuro incerto

---

Comparativo de Inferência — Llama 3 70B

---

Frameworks de Software por Hardware