Benchmarks de Código

Para o Kode, esses benchmarks são os mais relevantes — medem capacidade de coding real.

---

HumanEval

• arXiv: 2107.03374 (Chen et al., OpenAI, 2021)
• Tamanho: 164 problemas Python
• Formato: Docstring → implementação; verificado por unit tests
• Métrica: pass@k — probabilidade de pelo menos 1 de k amostras passar
• Status: Saturado — modelos top chegam a 95%+
• Limitação: Muito pequeno; problemas simples; Python apenas

HumanEval+

• Origem: EvalPlus (2023)
• Melhoria: Testes adicionais (mais rigorosos) para mesmos problemas
• Resultado: Reduz scores em ~5–15% — modelos que "passam" nos testes originais falham nos novos

---

MBPP — Mostly Basic Python Problems

• arXiv: 2108.07732 (Austin et al., Google, 2021)
• Tamanho: 974 problemas Python (378 de teste)
• Dificuldade: Básico a intermediário
• Status: Saturado (GPT-4: 90%+)

MBPP+

• Testes adicionais pelo EvalPlus; mais rigoroso

---

SWE-bench — Software Engineering Benchmark

SWE-bench Original

• arXiv: 2310.06770 (Princeton, 2023)
• Tamanho: 2,294 issues reais do GitHub (12 repositórios Python)
• Formato: Issue text → patch que resolve o issue + testes de regressão
• Avaliação: O patch gerado pelo modelo é aplicado e os testes existentes rodam

SWE-bench Verified

• Versão: 500 issues validados manualmente por humanos (removeu ambíguos)
• Por que usar: Scores mais confiáveis; menos ruído
• Referência atual: O benchmark padrão para coding agents

SWE-bench Lite

• 300 problemas "mais fáceis"; usado para iteração rápida

SWE-bench Multimodal

• Inclui issues com screenshots e diagramas

---

LiveCodeBench

• URL: livecodebench.github.io
• Mecanismo: Colete continuamente novos problemas de LeetCode, Codeforces, AtCoder após data de corte dos modelos
• Anti-contaminação: Problemas sempre mais novos que o treino dos modelos
• Formato: Competitive programming; verificado por testes
• Atualização: Mensal

---

BigCodeBench

• arXiv: 2406.15877
• Tamanho: 1,140 problemas Python
• Diferencial: Usa bibliotecas reais (numpy, pandas, requests, PIL, etc.) — não apenas stdlib
• Valida: Capacidade de usar APIs externas corretamente
• Mais realista que HumanEval/MBPP para código do mundo real

---

RepoBench

• arXiv: 2306.03091
• Foco: Code completion em nível de repositório (cross-file context)
• Formatos: Retrieval, completion, pipeline (juntos)
• Por que importa: Coding em projetos reais exige contexto de múltiplos arquivos

---

CrossCodeEval

• arXiv: 2310.11248
• Idiomas: Python, TypeScript, Java, C#
• Foco: Code completion com dependências cross-file
• Realismo: Projetos reais do GitHub

---

DS-1000

• arXiv: 2211.11501
• Foco: Data science — numpy, pandas, tensorflow, PyTorch, matplotlib, sklearn, scipy
• Tamanho: 1,000 problemas
• Realismo: Extraído de Stack Overflow real

---

CRUXEval

• arXiv: 2401.03065
• Foco: Raciocínio sobre execução de código
  • Input prediction: Dado output, adivinhe o input
  • Output prediction: Dado input, adivinhe o output
• Habilidade testada: Compreensão semântica de código (não apenas geração)

---

EvoEval

• Origem: 2024
• Mecanismo: Evolui HumanEval para múltiplas dimensões: mais difícil, criativo, ferramenta, tempo-espaço
• Por que usar: Menos contaminação que HumanEval original

---

CanItEdit / EditEval

• Foco: Edição de código — dado código existente + instrução, aplique mudança
• Relevante: Para AI coding assistants que editam código do usuário

---

Aider Polyglot Benchmark

• URL: aider.chatdocsleaderboards
• Foco: Edição de código em múltiplas linguagens (Python, JS, Go, Rust, etc.)
• Metodologia: Modelos editam código real em arquivo; teste de regressão
• Relevante: Para coding assistants tipo Copilot/Kode

---

Tabela de Estado da Arte (Abril 2026)

---

Plataformas de Leaderboard