Parte III · Era 6 — Era dos Transformers (2017–2021)

draft

Uma única arquitetura — o Transformer — unifica o campo e, combinada com escala, produz os primeiros grandes modelos de linguagem. A "lei de escala" vira estratégia.

Narrativa

Em 2017, o artigo "Attention is All You Need" propõe o Transformer: dispensa recorrência, paraleliza o treino e escala como nada antes. Em poucos anos ele domina linguagem (BERT, GPT), depois visão e áudio. O GPT-3 (2020) mostra que apenas aumentar tamanho e dados gera capacidades novas (in-context learning) — formalizado nas leis de escala. Surgem os modelos de difusão (geração de imagem) e o AlphaFold 2 resolve a predição de estrutura de proteínas. A fronteira passa a ser definida por quem treina maior.

Marcos

2017 — Transformer · Vaswani et al. (Google) · self-attention; a
arquitetura que sustenta quase toda IA de fronteira atual.
2018 — BERT · Google · pré-treino bidirecional revoluciona o NLP.
2018–2019 — GPT / GPT-2 · OpenAI · geração de texto fluente; debate sobre
release responsável.
2020 — GPT-3 · OpenAI · 175 bilhões de parâmetros; in-context learning.
2020 — Leis de Escala · Kaplan et al. · desempenho previsível em função de
tamanhodadoscompute.
2020 — DDPM (difusão) · Ho et al. · modelos de difusão tornam-se
competitivos em geração de imagem.
2020 — AlphaFold 2 · DeepMind · resolve um problema de 50 anos em biologia
estrutural.
2021 — CLIP & DALL·E · OpenAI · conectam texto e imagem; geração a partir
de descrição.

Pessoas

Ashish Vaswani e coautores — "Attention is All You Need" (2017). Os oito autores do Transformer; vários fundaram startups de IA. 🖼️ Foto F-III.16 (ilustrar o mecanismo de atenção, se sem foto).

Equipe OpenAI (GPT) — escalaram a linguagem. GPT-2/3 estabeleceram o paradigma do large language model.

John Jumper & Demis Hassabis — AlphaFold 2. Nobel de Química 2024 pela predição de estrutura de proteínas.

🎨 Figura F-III.17 — A atenção que tudo conecta. Brief: infográfico do mecanismo de self-attention (uma frase com setas de peso ligando cada palavra a todas as outras), escalando para um grafo gigante que representa um LLM; ao lado, a dobra de uma proteína (AlphaFold) e uma imagem nascendo do ruído (difusão). A era em que "atenção + escala" abre tudo.

Ligação com o Compêndio: introduz as arquiteturas Transformer/LLM e difusão da galeria conexionista, e torna a etapa Treinamento (Parte I) um empreendimento de escala industrial (paralelismo, leis de escala, checkpointing).