Parte I · 2 — As etapas em detalhe

draft

Cada uma das 11 etapas, no mesmo molde: definição → entradas/saídas → atividades → insumos → ciências → matemática. As matrizes consolidadas estão no doc seguinte (03-ciencias-e-matematica.kmd); aqui o foco é a narrativa de cada etapa.

🎨 Figura F-I.3 — Folha de ícones das 11 etapas. Brief: conjunto de 11 ícones lineares coesos (mesma espessura de traço, paleta do Compêndio), um por etapa: alvo (0), cristal/banco (1), lupa+gráfico (2), esqueleto de rede (3), engrenagem+gradiente (4), régua+nota (5), escudo+check (5.5), fogueteservidor (6), sensorosciloscópio (7), seta circular (8), balança+escudo (9). Reutilizados como marcadores ao longo de todo o Compêndio.

Os ícones das 11 etapas do ciclo de vida

Etapa 0 — Definição do problema

Definição. Traduzir uma necessidade (de negócio, científica, criativa) em uma tarefa de IA bem-posta, com métrica de sucesso e função-objetivo.

  • Entra: necessidade, restrições, contexto. Sai: spec do problema +

    métrica + critério de aceite.

  • Atividades: escolher o tipo de tarefa (classificação? regressão? ranking?

    geração? controle?), definir a métrica-alvo, mapear riscos e viabilidade.

  • Insumos: frameworks de enquadramento de produto; nenhuma máquina pesada.
  • Ciências: teoria da decisão, economia (custo-benefício), *ilosofia/

    ética*(o que deve ser construído), psicologia (necessidade do usuário), ciência cognitiva (qual capacidade de inteligência endereçar).

  • Matemática: lógica (formalizar o objetivo), combinatória/complexidade

    (o problema é tratável?), teoria dos jogos (há incentivos/adversários?), estatística (escolha de métrica e baseline).

É a etapa menos "matemática" e mais conceitual — e a que mais erra projetos quando mal feita. Um problema mal enquadrado não se conserta com mais GPU.

Etapa 1 — Coleta e engenharia de dados

Definição. Adquirir, rotular, limpar e transformar os dados que serão o "conhecimento" da IA.

  • Entra: spec do problema. Sai: dataset limpo, versionado, com features.
  • Atividades: aquisição (scraping, sensores, bases), rotulagem, limpeza,

    feature engineering, deduplicação, balanceamento, splits (treinovalteste).

  • Insumos:
    • Hardware: CPU (ETL), armazenamento massivo (data lakes, object

      storage, NVMe), rede.

    • Algoritmos: amostragem, hashing/dedup, detecção de outliers, tokenização

      (BPE para texto), extração de features por modalidade.

    • Estruturas de dados: tensores, tabelas colunar (Parquet/Arrow),

      feature stores (B-trees/LSM-trees), embeddings tables.

    • Sistemas: pipelines (Spark, Airflow, Kafka para streaming), versionamento

      de dados (DVC).

  • Ciências: estatística (amostragem, viés de seleção), linguística

    (corpora textuais), acústicaópticaDSP (sinais de áudio/imagem), sociologia (viés social nos dados), direito (privacidade, licenciamento).

  • Matemática: estatística amostral e descritiva, probabilidade (viés,

    representatividade), álgebra linear (transformações de features), teoria da informação (redundância, compressão).

Máxima do campo: "garbage in, garbage out". A qualidade do dado é o teto da qualidade do modelo — por isso a corrente data-centric AI.

Etapa 2 — Análise exploratória (EDA)

Definição. Entender o comportamento real dos dados antes de modelar.

  • Entra: dataset. Sai: insights (distribuições, correlações, anomalias)

    que guiam a modelagem.

  • Atividades: visualização, estatística descritiva, correlações, detecção de

    outliers e vazamentos (leakage), checagem de balanceamento e de viés.

  • Insumos: CPU; bibliotecas de análise (pandas, polars); estruturas tabulares

    e índices; notebooks.

  • Ciências: estatística (a protagonista), psicometria (se há rótulos

    humanos), sociologia (viés), a ciência do domínio (medicina, finanças…).

  • Matemática: estatística inferencial, correlação/covariância, *estes

    de hipótese, redução de dimensionalidade (PCA* t-SNE/UMAP), teoria da informação (entropia, mutual information).

Etapa 3 — Modelagem

Definição. Decidir a forma da inteligência: a arquitetura, a formulação do objetivo, as indutividades (priors) embutidas.

  • Entra: insights da EDA. Sai: arquitetura definida + função de perda +

    hiperparâmetros iniciais.

  • Atividades: escolher a família de modelo, projetar a arquitetura, definir a

    loss, embutir simetrias/priors, dimensionar capacidade (parâmetros × dados).

  • Insumos:
    • Algoritmos/arquiteturas: Transformers, CNNs, difusão, GANs/VAEs,

      RNN/LSTM, GNNs, MoE, SSMs (Mamba) — a escolha define quase tudo.

    • Estruturas de dados: tensores, grafo computacional (DAG),

      embeddings, tensores esparsos (MoE/atenção esparsa).

    • Sistemas: frameworks (PyTorch, JAX), compiladores (XLA, Triton).
  • Ciências: neurociência (inspiração do neurônio, atenção, memória),

    física (mecânica estatística → difusão; redes de Hopfield), ciência cognitiva (arquiteturas de raciocínio), biologia/evolução (neuroevolução), linguística (estrutura para NLP).

  • Matemática: álgebra linear (representações, atenção como produto de

    matrizes), teoria dos grupos/simetrias (equivariância: CNN↔translação), geometria/topologia (hipótese da variedade, espaços latentes), teoria da informação (objetivos como KL/entropia), teoria da medida (modelos contínuos).

É a etapa onde as inspirações da neurociência e da física mais pesam — é de onde vêm as ideias de arquitetura. Também é onde se decide a "inteligência" potencial: a arquitetura define o espaço de hipóteses que o modelo pode representar.

Etapa 4 — Treinamento

Definição. Ajustar os parâmetros do modelo aos dados, minimizando a perda.

  • Entra: arquitetura + dataset. Sai: pesos treinados (+ checkpoints).
  • Atividades: forward/backward pass, otimização iterativa, scheduling de

    learning rate, regularização, paralelização em muitos aceleradores, checkpointing; pós-treino (SFT, RLHF/DPO, destilação).

  • Insumos:
    • Hardware: GPU/TPU (Tensor Cores, systolic arrays) — o núcleo;

      memória HBM (gargalo real, não FLOPs); interconnect (NVLink, InfiniBand, all-reduce); armazenamento para checkpoints; energia/cooling.

    • Algoritmos: backpropagation, SGDAdamAdamW, schedulers,

      gradient clipping, LoRA/QLoRA, quantization-aware training.

    • Estruturas de dados: tensores, grafo de autodiff, tensores esparsos (MoE).
    • Sistemas: paralelismo datatensorpipeline, FSDP/ZeRO (sharding),

      orquestração (Ray, Slurm, Kubernetes), mixed precision (bf16/fp16).

  • Ciências: eng. elétrica (aceleradores), ciência dos materiais

    (semicondutores), física (termodinâmica/energia), psicologia da aprendizagem (condicionamento → reforço), neurociência (plasticidade → weight updates).

  • Matemática: cálculo multivariável (gradientes, jacobianos, hessianas;

    regra da cadeia = backprop), otimização (o coração), processos estocásticos (SGD como SDE, dropout), álgebra linear numérica (GEMMs, estabilidade), teoria do aprendizado (viés-variância, generalização), teoria da informação (cross-entropy/KL como loss).

A etapa mais intensiva em hardware e em matemática contínua. Onde "treinar" custa de centavos a centenas de milhões de dólares conforme a escala.

Etapa 5 — Avaliação do modelo

Definição. Medir a qualidade estatística do modelo em dados que ele não viu.

  • Entra: pesos treinados. Sai: relatório de métricas + comparação com

    baselines.

  • Atividades: medir em conjunto de teste, comparar modelos, checar fairness,

    robustez e calibração, red teaming inicial.

  • Insumos: GPU/CPU para inferência de avaliação; benchmarks públicos e

    privados; estruturas de dados de resultados; dashboards.

  • Ciências: psicometria (teoria de testes — base de benchmarks),

    estatística, ciência cognitiva (avaliar raciocínio), sociologia/ética (viés e justiça).

  • Matemática: estatística inferencial (intervalos de confiança,

    significância), matriz de confusão, curvas ROC/AUC (integração), teoria da decisão (limiares), métricas de equidade.

Distinção crucial: aqui se avalia o modelo. O sistema ao redor é avaliado na etapa 5.5. Confundir as duas é um erro comum.

Etapa 5.5 — Testes / Homologação

Definição. Validar o sistema inteiro — código, API, integração, infra — antes de liberar ao mundo real. É QA de software + aceite de negócio.

  • Entra: modelo avaliado. Sai: build homologado, apto a produção.
  • Atividades: testes unitários/integração do pipeline; testes de

    contrato/schema da API; validação em staging e *shadow* (tráfego real sem afetar o usuário); UAT (aceite por stakeholders); testes adversariais e de robustez; testes de cargaestresse; regressão; checagem de viésconformidade.

  • Insumos: ambientes de staging; load testers; frameworks de teste; CI/CD;

    feature flags; canary/shadow infra.

  • Ciências: psicologia/UX (UAT, usabilidade), direito (conformidade),

    engenharia de software, ergonomia.

  • Matemática: estatística inferencial (poder, tamanho de amostra para

    A/B e canário), estatística sequencial (early stopping sem inflar erro tipo I), lógica (especificação e verificação), combinatória (coverage de casos), teoria das filas (testes de carga), criptografia (testes de segurança).

A transição 5.5 → 6 é gradual: canary release → A/B em produção → rollback se degradar. Não é um "liga/desliga".

Etapa 6 — Produção / Deployment

Definição. Servir inferências de forma eficiente, robusta e escalável.

  • Entra: build homologado. Sai: serviço em produção respondendo

    requisições.

  • Atividades: serving, batching dinâmico, caching (KV-cache),

    quantização, autoescalonamento, roteamento (MoE), balanceamento.

  • Insumos:
    • Hardware: GPUTPUNPU de inferência, memória/HBM, rede; edge para

      on-device.

    • Algoritmos: sampling (top-k/p, temperatura), speculative decoding,

      paged attention (vLLM), quantização (int8/int4), pruning, LoRA.

    • Estruturas de dados: KV-cache, índices vetoriais (HNSW) para RAG,

      ring buffers/filas de streaming.

    • Sistemas: servidores de inferência (vLLM, TGI, Triton), gRPC/REST, *API

      gateways, *circuit breakers, microsserviços, load balancing.

  • Ciências: eng. elétrica/eletrônica, ciência dos materiais, teoria de

    controle (estabilidade do serviço), economia (custo por token/inferência).

  • Matemática: álgebra linear numérica/aritmética (quantização, baixo

    posto), pesquisa operacional / teoria das filas (latência, throughput, batching), otimização discreta (scheduling, alocação de GPU), teoria da informação/codificação (compressão de modelo e de KV-cache), probabilidade (calibração, incerteza).

Etapa 7 — Monitoramento

Definição. Acompanhar a saúde do sistema e a qualidade do modelo ao longo do tempo.

  • Entra: serviço em produção. Sai: sinais (métricas, drift, alertas)

    que disparam manutenção.

  • Atividades: medir latência/erros (RED), detectar data drift e *concept

    drift, acompanhar qualidade e custo, correlacionar sinais por *trace_id.

  • Insumos: stacks de observabilidade (Prometheus, tracing distribuído);

    drift detectors; séries temporais; dashboards e alertas.

  • Ciências: teoria de controle/cibernética (feedback), estatística,

    economia (FinOps), sociologia (impacto em uso real).

  • Matemática: estatística (controle estatístico de processo), *estes de

    distância entre distribuições (KL, KS-test, PSI), séries temporais* teoria das filas (capacidade), teoria de controle.

Etapa 8 — Manutenção / Retreinamento

Definição. Atualizar o modelo com dados novos, fechando o loop — sem catastrophic forgetting.

  • Entra: sinais de drift + dados novos. Sai: modelo novo → reabre o ciclo

    (etapas 1/4).

  • Atividades: re-treino incremental/online, continual learning,

    versionamento de modelos, A/B da nova versão, rollback se piorar.

  • Insumos: GPU/TPU (re-treino), model registry (MLflow, W&B), pipelines de

    dados, feature stores, orquestração.

  • Ciências: teoria de controle (laço de realimentação), *sicologia da

    aprendizagem*(esquecimento, spaced repetition em currículos), biologia/evolução (adaptação).

  • Matemática: otimização online/incremental, estatística sequencial,

    processos estocásticos, teoria de controle, álgebra linear/cálculo (mesmas do treino).

É a etapa que torna o ciclo um loop. Sem ela, todo modelo apodrece à medida que o mundo muda.

Etapa 9 — Governança e desativação

Definição. Garantir que o sistema seja seguro, justo, legal e auditável — e aposentá-lo quando for hora.

  • Entra: sistema em operação. Sai: auditorias, conformidade, e eventual

    retirement.

  • Atividades: auditoria, privacidade (DP), segurança, conformidade

    regulatória, documentação (model cards), retirement planejado.

  • Insumos: ferramentas de auditoria/lineage; privacy tech; criptografia;

    verificação formal; policy engines.

  • Ciências: direito/regulação, filosofia/ética, *ociologia/

    antropologia*(impacto social), economia (responsabilidade, externalidades).

  • Matemática: privacidade diferencial, *riptografia / teoria dos

    números, lógica/verificação formal* teoria da informação, estatística (auditoria de viés).

Junto com a etapa 0, é onde as ciências humanas pesam mais: o "porquê" e o "pode?", não o "como".

Próximo doc: 03-ciencias-e-matematica.kmd consolida tudo isso em matrizes mestras (matemática × etapa, ciências × etapa, insumos × etapa) — os infográficos de referência do Compêndio.