Benchmarks Gerais e de Raciocínio

Regra de ouro: Nunca incluir datasets de avaliação no treino — contamina o benchmark e invalida comparações.

---

MMLU — Massive Multitask Language Understanding

• arXiv: 2009.03300 (Hendrycks et al., UC Berkeley, 2020)
• Formato: 15,908 questões de múltipla escolha (4 alternativas)
• Domínios: 57 assuntos: STEM, ciências sociais, humanidades, medicina, direito, filosofia...
• Uso: Avaliação de conhecimento do mundo; main benchmark de modelos gerais
• Limitação: Saturado — modelos top ultrapassam 90% (GPT-4o: 88%, Llama 3 70B: 82%)

MMLU-Pro

• arXiv: 2406.01574
• Melhoria: 10 alternativas (não 4); raciocínio necessário; 12K perguntas
• Menos saturado: Modelos top em ~65% (mais discriminativo)

---

ARC — AI2 Reasoning Challenge

• Fonte: Allen AI (2018)
• Formato: 7,787 questões de ciências do ensino fundamental (múltipla escolha)
• ARC-Easy: Respondíveis por modelos retrieval simples
• ARC-Challenge: Requerem raciocínio; mais difícil
• Status: Amplamente saturado (GPT-4: 96%)

---

HellaSwag

• arXiv: 1905.07830 (Zellers et al., 2019)
• Formato: Completar atividade do dia-a-dia (4 alternativas)
• Dificuldade: GPT-2 falha; GPT-4 acerta >95%
• Status: Saturado para modelos modernos

---

WinoGrande

• arXiv: 1907.10641 (Sakaguchi et al., 2019)
• Formato: Resolução de pronome ambíguo (Winograd schema)
• Tamanho: 44,000 problemas; adversarially filtered
• Status: Menos saturado que HellaSwag; ~85% estado da arte

---

TruthfulQA

• arXiv: 2109.07958 (Lin et al., OpenAI, 2021)
• Foco: Honestidade — modelo deve responder verdade, não reproduzir mitos populares
• Formato: 817 questões; avaliação MC e geração livre
• Achado original: GPT-3 acertava apenas 58% (pior que humanos)
• Status: Modelos modernos chegam a 85%+ com RLHF

---

BIG-Bench / BIG-Bench Hard

• Repositório: github.comgoogleBIG-bench
• BIG-Bench: 204 tarefas diversas; colaboração de 444 pesquisadores
• BIG-Bench Hard (BBH): 23 tarefas onde LLMs ficam abaixo de humanos
• Uso: Ainda relevante para tarefas que modelos modernos não saturaram

---

GSM8K — Grade School Math

• Origem: OpenAI (2021)
• Tamanho: 8,500 problemas matemáticos de nível fundamental
• Formato: Resposta em linguagem natural; chain-of-thought é chave
• Status: Modelos top acertam 95%+; saturado
• Substituto: MATH, AIME

---

MATH Dataset

• arXiv: 2103.03874 (Hendrycks et al., 2021)
• Tamanho: 12,500 problemas de competições matemáticas
• Dificuldade: 5 níveis (1fácil, 5olímpico)
• Áreas: Álgebra, Combinatória, Geometria, Teoria dos Números, Probabilidade, Pré-cálculo, Cálculo
• Status: Modelo o3 de OpenAI: 96.7%; ainda discriminativo nos níveis 4–5

MATH-500

• Subconjunto de 500 problemas; frequentemente citado em papers

---

AMC / AIME — Competições Americanas de Matemática

AIME (American Invitational Mathematics Examination)

• Formato: 15 questões; resposta inteira 0–999
• Dificuldade: Olímpico americano
• AIME 2024: 30 problemas (I + II)
• AIME 2025: 30 problemas

---

Humanity's Last Exam (HLE)

• Origem: Scale AI + CAIS (2025)
• Tamanho: 3,000 perguntas contribuídas por PhDs e especialistas
• Dificuldade: Projetado para ser o "teto" — problemas que humanos especialistas levam horas para resolver
• Resultado inicial: GPT-4o: 3.3%, Gemini 1.5 Pro: 2.5% — extremamente difícil
• Atualização 2026: o3-high: ~18%, Claude Opus 4.7: ~14%
• Propósito: Substituir benchmarks saturados; track progresso em fronteira

---

GPQA — Graduate-Level Google-Proof Q&A

• arXiv: 2311.12022 (Rein et al., 2023)
• Tamanho: 448 questões em biologia, física, química
• Dificuldade: Doutorandos especialistas acertam ~65%
• "Google-proof": Pesquisa no Google não ajuda
• Referência: o3: 87.7%, Claude Opus 4: 73.4%

---

DROP — Discrete Reasoning Over Paragraphs

• arXiv: 1903.00161
• Formato: Leitura e cálculo: extração, operações matemáticas, conjuntos
• Uso: Raciocínio numérico sobre texto

---

ARC-AGI — Abstraction and Reasoning Corpus para AGI

• Criador: François Chollet (criador do Keras — ver 07-frameworks/treinamento-distribuido.md), 2019
• Paper: On the Measure of Intelligence (arXiv 1911.01547) — Chollet propõe medir inteligência por skill-acquisition efficiency, não por desempenho em tarefas conhecidas
• Formato: Padrões visuais de grade colorida (até 30×30) — input + output de poucos exemplos; inferir a regra e aplicar a um novo input
• Filosofia: Resistir ao "scale brute-force" — tasks projetadas para exigir generalização sobre core knowledge priors (objetidade, simetria, contagem, topologia básica) que humanos têm inato; modelos que apenas memorizam padrões massivos falham
• Dificuldade: Crianças de 8 anos acertam ~85% no semi-private set; GPT-4o (2024) inicial: ~2%; LLMs scaling tradicional bate parede
• Evolução:
  • ARC-AGI-1 (2019): 1000 tasks (400 training pública + 400 evaluation pública + 200 private). SOTA pré-2024 estagnado em ~30%.
  • ARC-AGI-2 (2024): Ainda mais difícil. SOTA dez/2024: o3-high (high-compute mode com reasoning extensivo) ~76% no semi-private; humanos ~98%.
  • ARC-AGI-3 (anunciado 2025, em desenvolvimento): Chollet anuncia próxima geração focada em interactive agentic tasks (não só I/O frame estático). Ainda mais resistente a brute-force.

ARC Prize (arcprize.org)

• URL: arcprize.org · Leaderboard: arcprize.org/leaderboard · GitHub: arcprize/ARC-AGI
• Organização: ARC Prize Foundation, fundada por François Chollet + Mike Knoop (cofundador da Zapier) em 2024
• Estrutura da competição (anual):
  • Grand Prize (US$ 600.000): primeiro a atingir ≥ 85% no private evaluation set (ainda não reivindicado em 2025-2026)
  • Top score, top paper, efficiency prizes: premiações menores (~US$ 50k cada)
  • Total prize pool: US$ 1.000.000+ por edição
• Regras de compute: evaluation rodada em ambiente controlado com limite de compute (Kaggle notebook ~12h, sem internet) — desincentiva "throw o3-high US$ 350k de inferência" pois não qualifica para Grand Prize
• Track ARC-AGI Pub: Resultados de modelos high-compute (o3, Claude, Gemini) reportados publicamente sem qualificar para Grand Prize, em leaderboard separado
• Por que importa:
  • Counter-narrative ao "scaling resolve tudo": Chollet é vocal contra a tese de que LLMs maiores → AGI; ARC-AGI é a forma operacional desse argumento
  • Validation pública open-source: todos os solvers de top scores publicam código (DSL search, program synthesis, neuro-symbolic hybrid)
  • Histórico de approaches vencedores: mostraram que program synthesis + busca + LLMs (não LLM puro end-to-end) é o caminho que mais avança
• Top approaches (2024-2025):
  • Jeremy Berman (top humano interpretable solver, 2024) — DSL handcrafted + búsca
  • Greenblatt approach — GPT-4 + sampling massivo + verification
  • MindsAI / Architects of Intuition — neuro-symbolic
  • o3 (OpenAI, dez/2024) — primeiro modelo a quebrar 75% (em high-compute, custo ~US$ 350k para evaluation completa)

Para o Kode: ARC-AGI é referência canônica para avaliar generalização real vs memorização. Se o Kode quiser benchmark reasoning para uso interno fora de Code/Math, ARC-AGI Pub leaderboard é boa baseline. Para internamente: estudar abordagens program synthesis + verification — relevante para code generation com test-time verification (paradigma o-series).

---

Chatbot Arena (LMSYS / LMArena)

• URL: lmarena.ai (antes: chat.lmsys.org/leaderboard)
• Metodologia: Usuários reais comparam dois modelos cegamente → Elo rating
• Métrica: Elo Bradley-Terry
• Por que é valioso: Reflete preferências humanas reais; difícil de "ensinar para o teste"
• Limitação: Viés por verbosidade; inglês-centric

---

Tabela de Estado da Arte (Abril 2026)