Parte V · 3 — Hardware

draft

O substrato físico. Aqui os conceitos da Parte I (GPU, HBM, interconnect) viram números, modelos e preços — o que comprar, o que alugar, e o gargalo que define tudo: a memória.

🎨 Figura F-V.3 — A pirâmide de builds. Brief: pirâmide de 5 níveis (estudante → empresa de fronteira), cada nível com ícone de GPU e faixa de custo; ao lado, a regra "se não cabe na VRAM, não roda". Paleta do Compêndio.

A pirâmide de builds

3.1 Por que GPUs

Redes neurais fazem essencialmente multiplicação de matrizes. Uma H100 tem ~16.000 CUDA cores + 500+ Tensor Cores → ~2.000 TFLOPS FP16 (≈2.000× uma CPU em paralelismo massivo). A CPU é otimizada para lógica sequencial; a GPU, para paralelismo.

3.2 VRAM — o gargalo que define tudo

Regra: se o modelo não cabe na VRAM, não roda.

Modelo FP16 INT8 INT4 Onde cabe (INT4)
Llama 3.2 3B 7 GB 4 GB 2,5 GB qualquer GPU moderna
Qwen2.5-Coder 7B 15 GB 8 GB 5 GB RTX 3060 12GB
Qwen2.5-Coder 32B 66 GB 34 GB 20 GB RTX 3090/4090 24GB
Llama 3.1 70B 140 GB 72 GB 40 GB 2× RTX 3090 / A100 40GB
DeepSeek-V3 671B MoE 1,3 TB 670 GB 350 GB 8× H100 / 4× B200

Treino consome ~16–20 bytes/parâmetro (full fine-tune). QLoRA (INT4 + LoRA FP16) cabe um 70B em ~48GB. Com RTX 4090/5090 (24–32GB): QLoRA até ~30B, SFT até ~13B, inferência até ~70B INT4.

3.3 CPU, RAM, NVMe, rede

  • CPU: para treino, quase não importa — o que importa são PCIe lanes.

    1 GPU → 8–16 cores; 4+ GPUs → 32–64 cores (Threadripper, 128 lanes).

  • RAM: ~2× VRAM total; DDR5 ECC.
  • NVMe: 7–14 GBs (PCIe 45); SATA SSD deixa a GPU ociosa.
  • Rede: NVLink (900 GBs) vs PCIe (128 GBs) — crítico em multi-GPU;

    multi-nó precisa de 100/400 GbE ou InfiniBand.

3.4 Builds recomendados (USD, 2026)

Nível Custo Configuração Capacidade
1 — Estudante ~$1.500 RTX 3090 24GB, Ryzen 7, 64GB QLoRA até 13B, inferência 70B INT4
2 — Workstation ~$5.000 2× RTX 5090 32GB, 128GB QLoRA 70B, treino até 13B full
3 — Lab ~$20.000 4× RTX 6000 Ada, Threadripper, 256GB ECC full fine-tune 30–70B
4 — Startup ~$200k 8× H100 DGX/HGX, InfiniBand treino de 70B do zero
5 — Fronteira $10M–100M+ 64–1024 H100/B200, InfiniBand NDR fronteira (alugar/contratar)

Nota Brasil: hardware tipicamente 1,8–2,5× mais caro por impostos.

3.5 Aceleradores de fronteira (2025–2026)

  • NVIDIA Blackwell: B200 (2,5× H100, 25× mais eficiente), *300/Blackwell

    Ultra; Rubin*(Vera CPU + Rubin GPU) em produção H2 2026.

  • AMD: MI355X (4× MI300X), MI450 "Helios" (HBM4, 19,6 TB/s).
  • AWS Trainium3: TSMC 3nm, 2× Trainium2, 40% mais eficiente.
  • Impacto: H100 caiu ~30% com a chegada do B200.

3.6 Cloud vs. on-prem

  • Breakeven RTX 4090: 5.500 h de uso efetivo (1,5 ano a 10h/dia).
  • Regra: comece 100% em cloud para validar tração; compre local se usar

    ≥6h/dia por 6+ meses; alugue H100 por hora para runs grandes (72h em 8× H100 ≈ $2.000); nunca compre H100 sem fluxo de caixa contratado.

  • Provedores: Vast.ai, RunPod (consumer); Lambda, CoreWeave, Nebius

    (datacenter); Modal, Replicate, Together.ai (serverless).

Inferência mais eficiente é tema do doc 04-ferramentas-e-frameworks.kmd (quantização de KV cache, speculative decoding: TurboQuant, EAGLE-3).