Parte IV · Cap. 26 — Deep RL (valor)
Reforço + conexionista · Jogos/controle · Rede neural + função de valor (Q). Aprende qual ação tem maior valor esperado em cada estado, por tentativa e erro. Card:
../02-tipos-de-ia/05-por-reforco.kmd.
🎨 Figura
F-IV.26.0— Aprender pela recompensa. Brief: agente num ambiente (ex.: Atari), recebendo estado/recompensa e escolhendo ações; rede Q mapeando estado→valor de cada ação; replay buffer ao lado.
1. Definição e história curta
Estima a função de valor-ação Q(s,a) com uma rede neural. Marco: DQN jogando Atari direto de pixels (DeepMind, 2013/2015), que iniciou o deep RL (ver Parte III, era 5).
2. Fundamentos
- Processos de decisão de Markov (MDP) — estados, ações, recompensa, transição.
- Programação dinâmica — equação de Bellman.
- Probabilidade / processos estocásticos — política, retorno esperado.
- Psicologia — condicionamento operante (recompensa).
3. Algoritmos e arquiteturas
- Q-learning — atualização por Bellman; off-policy.
- DQN — rede aproxima Q; experience replay + target network
estabilizam.
- Melhorias — Double DQN, Dueling, Prioritized Replay, Rainbow.
- Exploração — ε-greedy, intrinsic motivation.
4. Insumos
- Hardware: GPU; muitos passos de simulação (ambiente).
- Dados: gerados por interação (não rotulados); replay buffer.
- Estruturas de dados: replay buffer (ring), tensores de estado.
- Sistemas: simuladoresambientes (GymALE), paralelização de rollouts.
5. Ciclo de vida especializado
| Etapa | Especialização |
|---|---|
| 0 Problema | Ambiente, espaço de ação discreto, função de recompensa |
| 1 Dados | Gerados por exploração; replay buffer |
| 2 EDA | Distribuição de recompensa, reward sparsity |
| 3 Modelagem | Arquitetura da rede Q, melhorias (Rainbow), exploração |
| 4 Treino | Interação↔atualização; instável; target network |
| 5 Avaliação | Recompensa média, sample efficiency, estabilidade |
| 5.5 Homologação | Robustez a estados não vistos, segurança |
| 6 Produção | Política fixa (greedy em Q); inferência leve |
| 7 Monitoramento | Desempenho, distribution shift do ambiente |
| 8 Retreino | Ambiente mudou → re-treinar |
| 9 Governança | Segurança do comportamento aprendido |
6. Capacidades, modos e modalidades
Controle reativo em ações discretas: jogos, navegação simples, otimização de políticas; aprende do zero por experiência, sem rótulos.
7. Limites, riscos e ética
Amostra-ineficiente (muitos episodes); instável; sensível ao reward design (reward hacking); difícil em ações contínuas (→ cap. 28). Segurança durante a exploração.
8. Estado da arte e exemplos
DQN/Rainbow (Atari), R2D2, Agent57; base conceitual do RL moderno; valor combina com política nos métodos ator-crítico (cap. 28).