Parte V · 4 — Ferramentas e frameworks
O stack prático de 2026 — o que usar em cada etapa, do fine-tuning à observabilidade. Princípio: comece simples; só adote frameworks pesados quando a dor justificar.
🎨 Figura
F-V.4— A bancada de ferramentas. Brief: painel de ferramentas organizado por etapa (treino, inferência, sandbox, eval, observabilidade), cada uma um "instrumento" rotulado. Paleta do Compêndio.
4.1 Stack recomendado (2026)
| Etapa | Ferramenta |
|---|---|
| Fine-tuning SFT | Axolotl (flexível) ou LLaMA-Factory |
| DPO / GRPO | TRL |
| Fine-tuning em 1 GPU | Unsloth |
| Inferência (produção) | vLLM (alta concorrência), SGLang (agentes) |
| Single-user / local | llama.cpp / Ollama |
| Sandbox de execução | E2B, Modal, ou Docker com limites |
| Agente | loop ReAct próprio (~200 linhas); LangGraph só se precisar |
| Eval | SWE-bench runner, bigcode-evaluation-harness, lm-evaluation-harness |
| Data pipeline | datatrove (HF), datasketch, tree-sitter |
| Observabilidade | LangFuse, Weights & Biases, Phoenix |
Regra de ouro: escreva seu próprio loop ReAct de 200 linhas antes de cair em frameworks agênticos pesados. E nunca execute código de LLM fora de sandbox.
4.2 Eficiência de inferência (avanços 2025–2026)
A inferência é onde o custo de produção mora. Três avanços recentes:
- TurboQuant (Google, ICLR 2026) — quantização vetorial do KV cache para
3,5 bits/valor: *6× menos RAM* até 8× mais rápido em H100, sem retreinamento nem perda de acurácia.
- EAGLE-3 (NeurIPS 2025) — speculative decoding com fusão multi-camada:
2–6× mais rápido; integrado a vLLM, SGLang, TensorRT-LLM.
- P-EAGLE (2025) — gera todos os K tokens de rascunho num único forward;
1,69× mais rápido que EAGLE-3 no B200.
Complementares: TurboQuant reduz memória do KV cache; EAGLE-3 acelera a geração de tokens. Conceitos-base (quantização, KV cache, speculative decoding) no capítulo LLM, §3.
4.3 Filosofia de adoção
- Valide o produto em cloud com API antes de treinar qualquer coisa.
- Comece com QLoRA de 7–32B antes de sonhar com 70B+.
- Invista em dados e evals, não em arquitetura exótica.
- Trate segurança (sandbox, red team) como parte do produto desde o dia 1.