Benchmarks Multimodais e Científicos

Benchmarks de Visão-Linguagem

MMMU — Massive Multidiscipline Multimodal Understanding

• arXiv: 2311.16502
• Tamanho: 11,500 questões com imagens em 30 disciplinas
• Formato: Múltipla escolha; requer entender imagem + texto juntos
• Domínios: Artes, ciências, medicina, engenharia, humanidades
• SOTA (2026): GPT-5: 82%, Gemini 3 Pro: 79%

MMMU-Pro

• arXiv: 2409.02813
• Melhoria: 10 alternativas (não 4); problemas mais complexos; OCR necessário
• Menos saturado: Top models ~60%

---

MMBench

• arXiv: 2307.06281 (Shanghai AI Lab, 2023)
• Tamanho: 3,000 questões em 20 habilidades visuais
• Habilidades: Atributos de objeto, relação espacial, raciocínio por comparação, etc.
• Versões: Inglês, Chinês, Dev/Test

---

VQAv2

• Fonte: VQA v2.0 (2017)
• Formato: Questões abertas sobre imagens do COCO
• Tamanho: 1.1M questões, 265K imagens
• Status: Saturado — modelos top acertam 85%+
• Substituto: MMMU, MMStar

---

DocVQA

• arXiv: 2007.00398
• Foco: QA sobre documentos (PDFs, scans, formulários)
• Tamanho: 50,000 questões em 12,767 documentos
• SOTA: 94%+ (Gemini 2.5 Pro, GPT-5)

---

ChartQA

• arXiv: 2203.10244
• Foco: Raciocínio sobre gráficos e charts
• Tamanho: 9,608 questões em 4,804 charts
• Requer: OCR + raciocínio quantitativo

---

OCRBench

• arXiv: 2305.07895
• Foco: Capacidade de OCR dos modelos VLM
• Inclui: Texto, tabelas, fórmulas matemáticas, documentos históricos

---

ScienceQA

• arXiv: 2209.09513
• Formato: QA multimodal em ciências (primário/médio)
• Multimodal: Imagens + texto; explainability (CoT)

---

MMStar

• arXiv: 2403.20330
• Foco: Eliminar "language leakage" — questões que podem ser respondidas sem ver a imagem
• Mais rigoroso: Requer visão de verdade

---

Benchmarks de Vídeo

Video-MME

• arXiv: 2405.21075
• Tamanho: 2,700 vídeos de 30s a 1h
• Subtarefas: Percepção visual, raciocínio temporal, OCR em vídeo
• SOTA: Gemini 2.5 Pro (video nativo); GPT-5

MVBench

• arXiv: 2311.17005
• Foco: 20 tarefas de compreensão de vídeo

---

Benchmarks de Ciências

MedQA (USMLE)

• arXiv: 2009.13081
• Formato: Questões do exame médico americano (USMLE Step 1–3)
• Tamanho: 12,723 questões em inglês
• Threshold humano: ~60% para aprovação
• SOTA: GPT-5, Claude Opus 4.7: 90%+ (supera médicos)

PubMedQA

• arXiv: 1909.06146
• Formato: Responder yesnomaybe baseado em abstracts do PubMed
• Tamanho: 1,000 questões anotadas por especialistas

MedBench

• arXiv: 2023.xxxxx
• Idioma: Chinês; medicina tradicional + ocidental
• Benchmark: Para modelos de saúde no contexto asiático

---

LegalBench

• arXiv: 2308.11462 (Stanford, 2023)
• Tamanho: 162 tarefas legais; 40,000+ exemplos
• Inclui: IRAC reasoning, statutory interpretation, contract analysis
• Habilidades: Issue spotting, rule recall, analysis, conclusion

---

FinanceBench

• arXiv: 2311.11944
• Formato: QA sobre documentos financeiros reais (10-K, 10-Q, earnings)
• Tamanho: 150 questões de alta precisão

---

Plataformas de Leaderboard

LMSYS Chatbot Arena / LMArena

• URL: lmarena.ai
• Metodologia: Votos cegos de usuários reais; Bradley-Terry Elo
• Dimensões: Multiturn, coding, math, vision, multilingual, hard prompts

Open LLM Leaderboard v2 (HuggingFace)

• URL: huggingface.cospacesopen-llm-leaderboard/openllmleaderboard
• Benchmarks: MMLU-Pro, BBH, GPQA, MUSR, MATH-lvl5, IFEval
• Foco: Modelos open-source

HELM (Stanford)

• URL: crfm.stanford.edu/helm
• Foco: Holistic evaluation — múltiplas métricas (acurácia, robustez, fairness, eficiência)

AlpacaEval 2.0

• Metodologia: LLM-as-Judge com Claude Sonnet como juiz
• Métrica: Win rate vs GPT-4 Turbo
• Uso: Avaliação de modelos de instrução/chat

Arena-Hard

• Metodologia: 500 prompts difíceis do Chatbot Arena; GPT-4o como juiz
• Correlaciona bem com preferências humanas reais

---

Tabela de Estado da Arte em Benchmarks Multimodais (Abril 2026)