Parte IV · Cap. 28 — RL Contínuo / Controle
Reforço + conexionista · Robótica/controle contínuo · Ator-crítico. Aprende políticas em espaços de ação contínuos (torques, velocidades). Card:
../02-tipos-de-ia/05-por-reforco.kmd.
🎨 Figura
F-IV.28.0— Ator e crítico. Brief: dois módulos: "ator" propõe ação contínua, "crítico" avalia; robô/ perna aprendendo a andar ao fundo.
1. Definição e história curta
Estende o RL a ações contínuas via métodos ator-crítico e policy gradient. Viabilizou locomoção e manipulação aprendidas (2017+). Base do controle em robótica (ver cap. 34).
2. Fundamentos
- Teoria de controle — sistemas dinâmicos, estabilidade.
- Otimização — policy gradient, trust region.
- Processos estocásticos / MDP — políticas estocásticas, entropia.
- Física — dinâmica do corpo controlado.
3. Algoritmos e arquiteturas
- Policy gradient — otimiza a política diretamente.
- Ator-crítico — ator (política) + crítico (valor) reduzem variância.
- Algoritmos — PPO (estável, padrão), SAC (entropia máxima), DDPG/TD3.
- Estabilidade — trust region (PPO/TRPO), target networks.
4. Insumos
- Hardware: GPU + simulação massiva paralela.
- Dados: rollouts de simulação; domain randomization para sim-to-real.
- Estruturas de dados: trajetórias, advantage estimates.
- Sistemas: simuladores físicos (MuJoCo, Isaac), vectorized envs.
5. Ciclo de vida especializado
| Etapa | Especialização |
|---|---|
| 0 Problema | Controle contínuo (locomoção, manipulação), segurança |
| 1 Dados | Simulação (barata) + dados reais (caros); randomização |
| 2 EDA | Cobertura de estados, reward shaping |
| 3 Modelagem | PPO/SAC; arquitetura ator-crítico; recompensa |
| 4 Treino | Rollouts paralelos; ajuste de hiperparâmetros sensível |
| 5 Avaliação | Recompensa, robustez, transferência sim-to-real |
| 5.5 Homologação | Testes de segurança física, limites de atuação |
| 6 Produção | Política em tempo real no robô; supervisão |
| 7 Monitoramento | Desempenho, anomalias, desgaste |
| 8 Retreino | Novos ambientes, fine-tune no real |
| 9 Governança | Segurança física, responsabilidade (ver cap. 34) |
6. Capacidades, modos e modalidades
Corporal-cinestésico: locomoção, manipulação, controle industrial, otimização contínua. O motor de aprendizado por trás da robótica embodied (cap. 34).
7. Limites, riscos e ética
Amostra-ineficiente; gap sim-to-real; instabilidade de treino; reward hacking; segurança durante exploração no mundo real.
8. Estado da arte e exemplos
PPO (o "cavalo de batalha"), SAC; locomoção de quadrúpedes/humanoides, mãos robóticas; PPO é também o algoritmo do RLHF (cap. 29) — a ponte entre controle e alinhamento de LLMs.