Parte V · 2 — Dados e datasets
A alavanca nº 1. "Garbage in, garbage out" não é clichê — é a diferença entre classes de modelo. Em domínios científicos, dados são o gargalo, não compute nem arquitetura.
🎨 Figura
F-V.2— O funil de dados. Brief: funil grande recebendo dados brutos (web, código, sensores) e filtrando por camadas (deduplicação, qualidade, segurança, licença) até um jato fino de "dados de ouro". Paleta do Compêndio.
2.1 Datasets prontos (exemplos)
- The Stack v2 — ~900B tokens de código, licenças permissivas (bigcode).
- FineWeb-Edu — web filtrada por qualidade educacional (>> Common Crawl cru).
- SWE-bench Train — pares issue/PR reais.
- CommitPack / CommitChronicle — diff + mensagem de commit.
- APPS, CodeContests, LiveCodeBench — problemas com testes.
2.2 Dados sintéticos — a alavanca real
- Gerar problema + solução + testes; filtrar pelos que passam (estilo
Phi/Qwen-Coder).
- Gerar explicações linha-a-linha (código → doc).
- Variações de problemas (Evol-Instruct).
- Pares bug→fix e fix→bug a partir de commits reais.
- Traces de debug: erro → investigação → fix.
2.3 Filtragem de qualidade
- Licença: MITApacheBSD (evitar GPL para modelos fechados).
- Remover código gerado por LLM (auto-contaminação).
- Deduplicação near-duplicate via MinHash/LSH.
- Remover secrets, chaves, dados pessoais.
- Filtrar por presença de testes e taxa de build.
2.4 Estratégias para escassez de dados (domínios científicos)
A parceria com laboratório, hospital ou escritório é mais valiosa que qualquer GPU — porque entrega dados proprietários.
- Active learning — reduz 10–100× o dataset necessário.
- Simulação como proxy — gerar massivamente; fine-tune em dados reais.
- Foundation models + fine-tuning — não treine do zero; especialize.
- Dados sintéticos de LLM — LLM grande gera problemas + soluções; filtre
pelos verificáveis.
- Self-supervised — aprender de dados não rotulados.
2.5 O princípio que atravessa tudo
Dados proprietários são a vantagem defensável. Modelos e compute viram commodity; os dados específicos do seu laboratório, hospital ou base de código são a durabilidade competitiva. Em código, cada aceiterejeiçãoedição de sugestão é um sinal de preferência de RL "quase grátis" — ver 06-ia-para-codigo.kmd.