Parte V · 5 — Benchmarks e leaderboards
"Sem boas evals, você navega no escuro." Como medir capacidade de verdade — e por que os benchmarks privados são a sua única bússola confiável.
🎨 Figura
F-V.5— O painel de avaliação. Brief: um "dashboard" estilizado com mostradores de vários benchmarks e um alerta vermelho "contaminação" sobre os públicos; ao lado, um cofre rotulado "benchmark privado". Paleta do Compêndio.
5.1 Benchmarks de referência
| Benchmark | Foco | Nota |
|---|---|---|
| HumanEval / HumanEval+ | funções Python | clássico, saturado |
| MBPP / MBPP+ | Python básico | — |
| SWE-bench / Verified / Multimodal | issues reais do GitHub | o mais importante hoje |
| LiveCodeBench | contests recentes | evita contaminação |
| BigCodeBench | chamadas de biblioteca realistas | — |
| RepoBench / CrossCodeEval | multi-arquivo | — |
| GPQA Diamond | ciência nível PhD | — |
| Humanity's Last Exam | nível PhD multidisciplinar | fronteira já iguala humano médio |
Placares atuais (instantâneo) vivem na Parte III, doc 08-estado-da-arte-2026.kmd (SWE-bench Verified, Arena Elo).
5.2 A armadilha da contaminação
Dica crítica: os benchmarks públicos estão parcial ou totalmente contaminados no treino dos modelos de fronteira. Um score alto pode ser memorização, não capacidade.
Construa seus próprios benchmarks privados com dados do seu domínio-alvo:
- representam o problema real que você quer resolver;
- nenhum modelo público foi treinado neles → medem capacidade genuína;
- são a sua vantagem de avaliação (e, no fim, de produto).
5.3 Como avaliar bem
- Públicos + privados combinados; nunca só públicos.
- Red teaming e uplift studies (o modelo ajuda de verdade?).
- Para raciocínio/código: recompensa verificável (passou nos testes?) é o
padrão-ouro — e vira sinal de RLVR (ver
01-alavancas-da-fronteira.kmd).
Avaliação não é etapa final — é bússola contínua. Liga-se à etapa 5 (Avaliação) e 5.5 (Homologação) do ciclo de vida (Parte I).