Benchmarks de Agentes e Contexto Longo

Benchmarks de Agentes

GAIA — General AI Assistants

• arXiv: 2311.12983 (Meta, HuggingFace, 2023)
• Tamanho: 466 questões em 3 níveis de dificuldade
• Formato: Questões reais que requerem web search, código, arquivo, raciocínio multistep
• Humanos: Acertam ~92%
• LLMs agênticos top: ~65% (Nível 1), ~40% (Nível 3)
• Por que é difícil: Exige cadeia real de ferramentas, não apenas LLM

---

τ-bench (Tau-bench)

• arXiv: 2406.12045 (Sierra AI, 2024)
• Domínios: Atendimento ao cliente (varejo, companhia aérea)
• Formato: Agente interage com usuário simulado + banco de dados real → resolve ticket
• Mede: Tool use preciso, consistência em conversa longa, correção de erros
• Relevante: Cenários enterprise; não trivialmente respondível com RAG

---

WebArena

• arXiv: 2307.13854 (CMU, 2023)
• Formato: Navegação real em websites simulados (e-commerce, fóruns, código, e-mail)
• Avaliação: Tarefa completada corretamente?
• Score top (2025): ~60% (com modelos de visão)

---

VisualWebArena

• arXiv: 2401.13649
• Extensão: WebArena com elementos visuais (imagens, gráficos, captchas)

---

OSWorld

• arXiv: 2404.07972 (2024)
• Formato: Tarefas reais em desktop (Linux, Windows, macOS) com screenshot
• Exemplos: "Abra o LibreOffice, crie planilha X, salve como..."
• Score top: ~25% (muito difícil)

---

AgentBench

• arXiv: 2308.03688
• Domínios: OS, DB, KG, alfworld, webshop, mind2web, housetour, webarena
• Formato: Avaliação unificada de agentes em 8 domínios

---

ToolBench

• arXiv: 2307.16789
• Foco: Uso de 16,464 APIs reais (RapidAPI)
• Avaliação: Agente seleciona e chama APIs corretamente
• Mais realista: 200K instruções com ferramentas reais

---

SWE-agent

• arXiv: 2405.15793
• Sistema: Agent interface + GPT-4 para SWE-bench
• Mecanismo: ACI (Agent-Computer Interface) otimizado para edição de código
• Resultado inicial: 12.5% → base para sistemas mais modernos

---

AppWorld

• arXiv: 2407.18900
• Foco: Agentes em apps simulados (música, email, calendário, banco)
• Interação: APIs de app no estilo REST
• Realismo: Cenários de dia-a-dia com múltiplas dependências

---

Benchmarks de Contexto Longo

RULER — What's the Real Limit of Long Context LLMs?

• arXiv: 2404.06654 (NVIDIA, 2024)
• Tamanho: 4K a 128K tokens
• Tarefas:
  • Single/Multi-hop NIAH (Needle In A Haystack)
  • Variable tracking (rastrear variáveis)
  • QA multi-documento
• Resultado: A maioria dos modelos degrada muito acima de 32K tokens

---

HELMET — How to Evaluate LLMs on Long-Context Tasks

• arXiv: 2410.02694
• Tarefas: RAG, sumário de livros, citação de artigos, ICL com muitos exemplos
• Comprimentos: Até 128K tokens
• Diferencial: Tarefas realistas; não apenas NIAH

---

NIAH — Needle In A Haystack

• Conceito: Esconder uma "agulha" (frase com informação) em um longo "palheiro" (texto irrelevante)
• Teste: Modelo consegue recuperar a informação?
• Tamanho: Geralmente testado de 1K a 1M tokens
• Ferramenta: github.comgkamradtLLMTest_NeedleInAHaystack
• Limitação: Teste artificial — não reflete uso real do contexto longo

Variantes

• Multi-Needle: Múltiplas agulhas no mesmo haystack
• Distrator: Haystack com informações contraditórias

---

ZeroSCROLLS

• arXiv: 2305.14196
• Foco: Sumário, QA e raciocínio em documentos muito longos
• Datasets: GovReport, SumScroll, QASPER, QuALITY, Musique, SQuALITY, etc.
• Comprimentos: Até 200K tokens

---

LOONG

• arXiv: 2311.04939
• Foco: Raciocínio longo e coerente (100K+ tokens)
• Tarefa: Novel QA — perguntas sobre livros inteiros

---

InfiniteRAG (2025)

• Foco: RAG em contextos de 1M+ tokens
• Relevante para Kode: Ingestão de repositórios inteiros como contexto

---

Análise de Memória em Agentes

MemGPT

• arXiv: 2310.08560
• Ideia: Sistema operacional para LLMs — gerencia memória de curto e longo prazo explicitamente
• Mecanismo: "Paginação" de contexto; storage hierárquico
• Relevância: Base conceptual para agentes com memória persistente

---

SWE-Bench Pro

Versão mais difícil do SWE-bench original; issues de repositórios mais complexos, com menor risco de data contamination.

---

GDPval (OpenAI)

• Origem: OpenAI (2026), interno
• Foco: Tarefas de knowledge work profissional (análise, escrita técnica, pesquisa, planejamento estratégico)
• Julgadores: Especialistas humanos de domínio (não LLM-as-judge)
• GPT-5.4: 83% de acerto — record à época do lançamento

---

OSWorld-Verified / WebArena Verified

Variantes auditadas dos benchmarks originais, com tarefas verificadas manualmente para garantir resolubilidade e corretude da avaliação.

• GPT-5.4: Record em ambos no lançamento (março 2026)
• Foco: Computer use — automação real de desktop e browser

---

Agent-SafetyBench

• Foco: Avaliação de segurança em agentes autônomos
• Escala: 349 ambientes de interação; 2.000 casos de teste; 8 categorias de risco
• Cobertura: Maior avaliação de segurança para agentes publicada até 2026

---

CUB — Computer-Use Benchmark

• Foco: Unificado para computer use (desktop + browser + terminal)
• Adoção crescente: Junto com GAIA, tornou-se referência independente para agentes em 2025

---

Tabela: Scores de Modelos em Benchmarks Agênticos (2026)

---

Plataformas de Leaderboard de Agentes