Datasets de Pré-Treino — Texto Geral
| Dataset |
Tamanho |
Licença |
Fonte |
Pontos Fortes |
| FineWeb |
15T tokens |
Open |
96 snapshots Common Crawl |
Melhor dataset geral open-source; supera C4, Pile, RedPajama |
| FineWeb-Edu |
1.3T tokens |
Open |
FineWeb filtrado |
Melhor para MMLU/ARC; conteúdo educacional de alta qualidade |
| RedPajama-V2 |
30T tokens |
Mixed |
Common Crawl |
Maior dataset open; qualidade variável |
| RedPajama-V1 |
1.2T tokens |
Mixed |
CC + GitHub + arXiv + Wikipedia |
Reprodutível; composição: 878B CC, 59B GitHub, 28B arXiv |
| SlimPajama |
627B tokens |
Open |
RedPajama-V1 deduplicado |
49.6% menor que original; melhor qualidade por token |
| Dolma |
3T tokens |
Open |
Variado |
Acessível para pesquisa de dados |
| The Pile |
886GB (570B tokens) |
Open |
22 sub-datasets |
EleutherAI; base histórica; diversidade temática |
| ROOTS |
1.6TB |
Mixed |
498 datasets |
59 idiomas; multilingual; curado pela comunidade (BLOOM) |
| C4 |
175B tokens |
CC-BY |
1 snapshot Common Crawl |
Amplamente usado; filtragem extensa |
| DCLM |
240T tokens pool |
Open |
Common Crawl |
Benchmark testbed para curadoria; 7B em 64% MMLU |
Links:
- FineWeb: huggingface.codatasetsHuggingFaceFW/fineweb
- FineWeb-Edu: huggingface.codatasetsHuggingFaceFW/fineweb-edu
- RedPajama: huggingface.codatasetstogethercomputer/RedPajama-Data-V2
- Dolma: huggingface.codatasetsallenai/dolma
Datasets de Código
| Dataset |
Tamanho |
Linguagens |
Licença |
Fonte |
Uso |
| The Stack v2 |
67.5TB |
604+ |
Permissiva |
104M repos GitHub (Software Heritage) |
Pré-treino código |
| The Stack v1 |
3.1TB |
30+ |
Permissiva |
137M repos GitHub (2015–2022) |
Pré-treino código (mais antigo) |
| GitHub Archive |
Contínuo |
Multi |
Varies |
GH events (commits, PRs) |
Metadados + diffs |
| CommitPack |
— |
Multi |
Varies |
diff + commit message |
Treino de diff/review |
| SWE-bench Train |
— |
Python |
Varies |
Issues/PRs reais |
Agent training |
| APPS |
5K problemas |
Python |
Open |
Competições |
Treino de coding contests |
| CodeContests |
— |
Multi |
Open |
Codeforces + AtCoder |
Competitive programming |
| LiveCodeBench |
Contínuo |
Multi |
Open |
Problemas recentes |
Eval sem contaminação |
Datasets de Matemática
| Dataset |
Tamanho |
Tipo |
Licença |
Uso |
| OpenMathInstruct-1 |
1.8M pares |
Sintético (Mixtral) |
Permissiva |
SFT para matemática |
| OpenMathInstruct-2 |
Maior |
Sintético (Llama 3) |
Permissiva |
Versão expandida |
| MetaMathQA |
— |
Bootstrap |
Open |
Variações de problemas matemáticos |
| MATH dataset |
12.5K problemas |
Competições |
Open |
Eval + fine-tuning (níveis 1–5) |
| GSM8K |
8.5K problemas |
Grade school |
Open |
Fine-tuning raciocínio matemático básico |
| NuminaMath |
860K problemas |
Competições |
Open |
Treino de raciocínio matemático avançado |
Datasets de Instrução e Chat
| Dataset |
Tamanho |
Licença |
Uso |
| UltraChat |
1.5M diálogos |
Open |
Multi-turn conversation training |
| WizardLM |
250K instruções |
Open |
Instruções complexas (Evol-Instruct) |
| Orca-Math |
200K problemas |
Open |
Matemática via Agent-Instruct |
| ShareGPT |
Variado |
Mixed |
Conversas ChatGPT reais compartilhadas |
| OpenHermes 2.5 |
900K |
Open |
Instrução geral; alta qualidade |
| Alpaca |
52K |
Non-commercial |
Self-Instruct original (GPT-3.5 gerado) |
Datasets de Multilingual
| Dataset |
Idiomas |
Tokens |
Licença |
| ROOTS |
59 (46 nat. + 13 prog.) |
— |
Mixed |
| BLOOM |
46 |
— |
BigScience RAIL |
| mC4 |
101 |
— |
CC-BY |
| CulturaX |
167 |
6.3T |
Mixed |
| Qwen 3.5 training |
201 |
— |
— |
Datasets Multimodais
| Dataset |
Tipo |
Tamanho |
Licença |
Uso |
| LAION-5B |
Imagem-texto |
5B pares |
Open |
Pré-treino de modelos de visão |
| CC3M/CC12M |
Imagem-texto |
3M/12M |
CC-BY |
Conceitual; captions de imagens |
| WIT |
Imagem-texto |
37M |
Apache |
Wikipedia image-text |
| COCO |
Detecção/segmentação |
330K imagens |
CC-BY |
Benchmark clássico de visão |
Datasets de Avaliação (Não para Treino)
Nunca incluir esses datasets no treino — contaminação invalida benchmarks.
- MMLU: 15K questões múltipla escolha (57 assuntos)
- HumanEval: 164 problemas Python
- SWE-bench Verified: 500 issues GitHub validados por humanos
- MATH-500: Subconjunto de 500 problemas de competições
- AIME 2024/2025: 30 problemas de nível olímpico
Qualidade > Quantidade
| Descoberta |
Fonte |
| FineWeb-Edu (1.3T) > RedPajama (1.2T) em MMLU |
HuggingFace, 2024 |
| Phi-1 (7B tokens sintéticos) supera modelos treinados em >1T tokens em código |
Microsoft Phi, 2023 |
| SlimPajama (627B) > RedPajama (1.2T) — deduplicação importa |
Together AI, 2023 |
| Chinchilla: 20 tokens/parâmetro é ótimo de compute |
DeepMind, 2022 |