Parte IV · Cap. 01 — LLM (Modelo de Linguagem Grande)

draft

Conexionista · Linguagem/conversação · Transformer (decoder). O tipo de IA que definiu a era atual: uma rede que aprende a prever o próximo token e, com escala suficiente, exibe linguagem, raciocínio, código e capacidade de usar ferramentas. Card de origem: ../02-tipos-de-ia/02-conexionista.kmd.

🎨 Figura F-IV.1.0 — Anatomia de um LLM. Brief: corte transversal estilizado de um Transformer: tokens entrando → embeddings + posição → pilha de blocos (atenção multi-cabeça + FFN, com conexões residuais) → projeção → distribuição sobre o vocabulário. Setas de atenção ligando tokens. Paleta do Compêndio.

Anatomia de um LLM

1. Definição e história curta

Um LLM é uma rede neural — quase sempre um Transformer decoder — treinada em enormes corpora de texto com um objetivo simples: dado um prefixo, prever o próximo token. Dessa tarefa auto-supervisionada emergem, com escala, capacidades não programadas explicitamente: gramática, fatos, tradução, raciocínio passo a passo, programação e diálogo.

Linhagem (detalhe na Parte III): modelos de n-gramas → word embeddings (word2vec, 2013) → seq2seq + atenção (2014) → Transformer (2017) → GPT e o paradigma de pré-treino + escala (2018–2020) → instruction tuning e RLHF (2022) → modelos multimodais, de raciocínio e agênticos (2023–presente).

2. Fundamentos (ciências e matemática)

Disciplina Papel no LLM
Linguística Semântica distribucional ("o sentido de uma palavra está na companhia que ela mantém"); morfologia (tokenização); sintaxe/pragmática emergentes
Álgebra linear Tudo é tensor; atenção é produto de matrizes softmax(QKᵀ/√d)·V; embeddings são vetores
Probabilidade A saída é uma distribuição `p(token contexto)`; amostragem controla a geração
Teoria da informação Cross-entropy/perplexidade como perda e métrica; compressão como proxy de aprendizado
Cálculo / otimização Backprop + AdamW ajustam bilhões de parâmetros
Teoria do aprendizado Leis de escala: perda cai de forma previsível com parâmetros × dados × compute
Neurociência Inspiração frouxa (neurônio, atenção) — [metáfora] para "entender"

Fórmula-âncora — atenção: Attention(Q,K,V) = softmax( Q·Kᵀ / √dₖ ) · V Cada token "olha" para os demais com pesos aprendidos — o mecanismo central.

3. Algoritmos e arquiteturas

Bloco Transformer (decoder), repetido N vezes:

  1. Tokenização — texto → tokens (subpalavras) via BPE/SentencePiece.
  2. Embedding + posição — vetor por token + codificação posicional (hoje

    RoPE é comum).

  3. Self-attention causal multi-cabeça — cada posição atende às anteriores

    (máscara causal); várias "cabeças" capturam relações distintas.

  4. Feed-forward (FFN/MLP) — transformação por posição (onde mora boa parte do

    "conhecimento").

  5. Conexões residuais + LayerNorm — estabilizam o treino de redes profundas.
  6. Projeção final + softmax — distribuição sobre o vocabulário.

Variantes e otimizações de arquitetura:

  • Mixture-of-Experts (MoE) — roteamento esparso: mais parâmetros, custo quase

    constante por token.

  • GQA/MQA — compartilham chaves/valores para baratear a inferência.
  • FlashAttention — atenção eficiente em memória (gargalo é banda, não FLOPs).
  • Contexto longo — extensões de RoPE, atenção esparsa/janela, SSM híbrido.

Algoritmos de treino:

  • Pré-treino — objetivo next-token auto-supervisionado em escala web.
  • Pós-treino — SFT (instruções) → alinhamento por RLHF / DPO / RLAIF

    (ver cap. 29 — RLHF); destilação para modelos menores.

Algoritmos de inferência:

  • Decodificação — sampling (temperatura, top-k, top-p), beam search.
  • Eficiência — KV-cache, speculative decoding, quantização

    (int8/int4), continuous batching, paged attention.

4. Insumos

  • Hardware: clusters de GPU/TPU (Tensor Cores), memória HBM (gargalo

    real), interconnect (NVLink/InfiniBand, all-reduce); armazenamento para checkpoints; energia/cooling. Inferência também usa NPUs e edge.

  • Dados: corpora em escala web (texto, código), deduplicados, filtrados

    por qualidade, com mistura curada (data mixture) e controle de contaminação de benchmark.

  • Estruturas de dados: tensores; tokenizer/vocabulário (BPE);

    embedding tables; KV-cache (inferência); índice vetorial (HNSW) para RAG.

  • Sistemas / MLOps: PyTorchJAX + compiladores (XLATriton); paralelismo

    datatensorpipeline + FSDP/ZeRO; orquestração (RaySlurmK8s); serving (vLLM/TGI); model registry e versionamento.

5. Ciclo de vida especializado (as 11 etapas)

O esqueleto da Parte I, preenchido para LLMs.

Etapa Como se especializa num LLM
0 · Problema Definir capacidades-alvo (chat, código, raciocínio), idiomas, janela de contexto, e as métricas/benchmarks de sucesso
1 · Dados Crawl web + código + curadoria; deduplicação, filtragem de qualidade/toxicidade, data mixture, tokenização; controle de contaminação de avaliação
2 · EDA Estatística do corpus (distribuição de tokens, idiomas, domínios), checagem de leakage e duplicatas
3 · Modelagem Escolher tamanho (leis de escala), profundidade, nº de cabeças, contexto, MoE?, tokenizer; orçamento de compute
4 · Treino Pré-treino next-token (paralelismo massivo, checkpointing, mixed precision) → pós-treino (SFT → RLHF/DPO)
5 · Avaliação Benchmarks (conhecimento, raciocínio, código), avaliação humana, calibração; ressalvas de contaminação
5.5 · Homologação Red teamingjailbreak, avaliações de segurança, testes de sistema (APIcontrato), shadow/canário
6 · Produção Serving com KV-cache, batching, quantização, speculative decoding; gestão de contexto; RAG/ferramentas
7 · Monitoramento Drift de qualidade, taxa de recusa, latência/custo por token, abuso; correlação por trace_id
8 · Retreino Dados novos, refreshcontinual, nova iteração de RLHF; versionamento e AB da versão nova
9 · Governança Model card, política de uso, alinhamento, transparência de avaliação, privacidade dos dados de treino

🎨 Figura F-IV.1.1 — O ciclo de vida de um LLM. Brief: reusar o anel da F-I.1, mas com ícones específicos por etapa (funil de dados web, balança de leis de escala, escudo de red-team, KV-cache na produção). Mostra a especialização do ciclo genérico.

Ciclo de vida de um LLM

6. Capacidades, modos e modalidades

  • Linguística — geração, tradução, sumarização, reescrita, diálogo.
  • Lógico-matemática — raciocínio passo a passo (chain-of-thought),

    matemática, código (cap. relacionado: agentes).

  • Modo intelectual e criativo — da redação técnica à escrita ficcional

    (controlado por sampling/condição).

  • Agêntico — uso de ferramentas, function calling, computer use

    (ver cap. 30 — Agente).

  • Multimodal — LLMs viram base de modelos que também veem/ouvem

    (ver cap. 14 — Multimodal).

Tipos de inteligência (grade de Gardner, ver ../01-ciclo-de-vida/04-natureza-dos-insumos.kmd): forte em linguística e lógico-matemática; parcial em interpessoal (diálogo); ausente em corporal-cinestésica (sem corpo).

7. Limites, riscos e ética

  • Alucinação — gera afirmações plausíveis e falsas; mitigável (não eliminável)

    com RAG e grounding.

  • Viés — herda vieses do corpus; exige avaliação e mitigação.
  • Opacidade — bilhões de parâmetros pouco interpretáveis (interpretability

    é área aberta).

  • Custo e energia — treino e inferência intensivos; pegada ambiental.
  • Segurança — jailbreaks, uso indevido; daí alinhamento (RLHF/RLAIF,

    Constitutional AI) e red teaming.

  • Dados e direito — proveniência, copyright, privacidade do corpus.
  • [metáfora] — um LLM não "entende", não "quer" e não é consciente.

    Ele modela a distribuição estatística da linguagem; "raciocínio" é geração de passos, não dedução formal (ver doc 4 da Parte I).

8. Estado da arte e exemplos reais

  • Modelos de fronteira (2025–2026): família Claude 4.X (ex.: Opus 4.8,

    claude-opus-4-8) e Fable 5 (Anthropic); GPT (OpenAI); Gemini (Google); pesos abertos como Llama e Mistral.

  • Tendências:
    • Modelos de raciocínio — deliberação longa antes de responder.
    • Contexto longo — janelas de centenas de milhares a milhões de tokens.
    • MoE — escala de parâmetros com custo controlado.
    • Agência — LLMs como motor de agentes que usam ferramentas e operam

      software (ex.: Claude Code).

    • Multimodalidade nativa — um só modelo para texto, imagem, áudio e vídeo.

Referência cruzada: para detalhes de API, IDs de modelo, parâmetros e caching ao construir sobre LLMs Claude, usar a skill claude-api — este capítulo é conceitual, não um guia de integração.

Gabarito fixado. Os próximos capítulos (Difusão, CNN, RL, Agentes…) seguem estas 8 seções. Índice: INDEX.kmd.