Parte IV · Cap. 22 — ML Clássico (Árvores, Boosting, SVM)

draft

Probabilística/estatística · Dados tabulares · Árvores / margens / kernels. Modelos estatísticos que ainda vencem deep learning em dados tabulares. Card: ../02-tipos-de-ia/03-probabilistica.kmd.

🎨 Figura F-IV.22.0 — Floresta de decisões. Brief: várias árvores de decisão votando (ensemble) à esquerda; à direita, um hiperplano de margem máxima (SVM) separando classes.

ML clássico — floresta e margem

1. Definição e história curta

Família estatística pré-deep-learning, ainda dominante em dados tabulares. Linhagem: SVM (1995), Random Forests (2001), Gradient Boosting (XGBoost, 2014+) — campeões de Kaggle e produção em finanças.

2. Fundamentos

  • Estatística / teoria do aprendizado — viés-variância, generalização (VC).
  • Otimização — boosting (descida funcional), margem máxima.
  • Probabilidade — bagging, estimativa de erro.
  • Álgebra linear — kernels (SVM).

3. Algoritmos e arquiteturas

  • Árvores de decisão — partições por features.
  • Random Forest — bagging de árvores (reduz variância).
  • Gradient Boosting — árvores sequenciais que corrigem o erro (XGBoost,

    LightGBM, CatBoost).

  • SVM — hiperplano de margem máxima + kernel trick.

4. Insumos

  • Hardware: CPU (eficiente); GPU opcional para boosting grande.
  • Dados: tabulares com features engenheiradas; volumes moderados.
  • Estruturas de dados: tabelas, árvores, matrizes de features.
  • Sistemas: scikit-learn, XGBoost/LightGBM.

5. Ciclo de vida especializado

Etapa Especialização
0 Problema Predição em dados tabulares, interpretabilidade, baixo custo
1 Dados Tabelas; feature engineering é decisivo
2 EDA Correlações, importância de features, leakage
3 Modelagem ÁrvoreRFboosting/SVM; regularização
4 Treino Rápido; validação cruzada; tuning de hiperparâmetros
5 Avaliação AUCF1RMSE; feature importance; SHAP
5.5 Homologação Estabilidade, fairness, robustez
6 Produção Inferência leve e rápida; fácil de servir
7 Monitoramento Drift de features, degradação
8 Retreino Re-treino barato e frequente
9 Governança Explicabilidade (SHAP), viés, decisões reguladas (crédito)

6. Capacidades, modos e modalidades

Preditivo/tabular: crédito, fraude, churn, precificação, ranking; rápido, robusto e interpretável — o "cavalo de batalha" da indústria.

7. Limites, riscos e ética

Não lida bem com dados não-estruturados (texto/imagem); depende de *feature engineering*; vieses em decisões sensíveis (crédito) exigem auditoria.

8. Estado da arte e exemplos

XGBoostLightGBMCatBoost (padrão em tabular e Kaggle); ainda a primeira escolha para dados tabulares, onde frequentemente supera redes profundas.

Paradigma Probabilístico/Bayesiano completo (caps. 19–22). Índice: INDEX.kmd.