Parte IV · Cap. 33 — Sistema de Recomendação
Híbrida · Ranking/personalização · Embeddings + fatorização + redes. Prevê preferências e ordena itens para cada usuário — o motor econômico da web. Card:
../02-tipos-de-ia/06-hibrida-neuro-simbolica.kmd.
🎨 Figura
F-IV.33.0— Casar usuário e item. Brief: dois "torres" de embeddings (usuário e item) convergindo para um score de afinidade; feed ordenado resultante à direita.
1. Definição e história curta
Modela afinidade usuário-item para personalizar feeds, lojas e streaming. Linhagem: filtragem colaborativa → fatorização de matriz (Netflix Prize, 2006-09) → deep recommenders e two-tower (2016+).
2. Fundamentos
- Álgebra linear — fatorização de matriz; embeddings.
- Probabilidade / estatística — estimativa de preferência, implicit feedback.
- Teoria da informação — learning-to-rank, ganho de informação.
- Economia / teoria dos jogos — leilões de anúncios, incentivos, engagement.
3. Algoritmos e arquiteturas
- Filtragem colaborativa — vizinhança usuário/item.
- Fatorização de matriz — usuário e item como vetores latentes.
- Two-tower — encoders separados + dot product (recuperação em escala).
- Ranking — gradient boosting / redes profundas (DLRM); learning-to-rank.
- Pipeline — candidate generation → ranking → re-ranking (diversidade).
4. Insumos
- Hardware: GPU (treino/embeddings); CPU + ANN para recuperação.
- Dados: interações (cliques, compras, watch time), perfis, contexto.
- Estruturas de dados: embedding tables enormes, índice ANN, feature store.
- Sistemas: streaming de eventos (Kafka), online serving de baixa latência.
5. Ciclo de vida especializado
| Etapa | Especialização |
|---|---|
| 0 Problema | Objetivo (engajamento, receita, satisfação), restrições éticas |
| 1 Dados | Logs de interação; implicit feedback; viés de exposição |
| 2 EDA | Esparsidade, popularity bias, cold start |
| 3 Modelagem | Two-tower + ranking; features; objetivo multi-tarefa |
| 4 Treino | Treino offline + atualização frequente; negative sampling |
| 5 Avaliação | NDCG, recall@k, AUC; offline vs online divergem |
| 5.5 Homologação | A/B test com significância; guardrails de conteúdo |
| 6 Produção | Geração de candidatos + ranking em ms; feature store online |
| 7 Monitoramento | CTR/engajamento, feedback loops, filter bubble, fairness |
| 8 Retreino | Re-treino frequente (preferências mudam rápido) |
| 9 Governança | Vício/engajamento, bolhas, transparência, manipulação |
6. Capacidades, modos e modalidades
Preditivo/personalização em escala: feeds, e-commerce, streaming, anúncios, busca personalizada. Opera sobre bilhões de itens/usuários em tempo real.
7. Limites, riscos e ética
Feedback loops e bolhas de filtro; popularity bias; cold start; otimização de engajamento pode prejudicar bem-estar; manipulação e vício. Fairness e transparência são debates centrais.
8. Estado da arte e exemplos
Recomendadores de YouTubeTikTokNetflix/Amazon; two-tower + DLRM; tendência: modelos generativos/LLM para recomendação, objetivos de bem-estar além de cliques.