Parte II · Galeria — IA por Reforço

draft

Inteligência que aprende por tentativa e erro, maximizando recompensa ao interagir com um ambiente. Inspirada na psicologia do condicionamento; é o paradigma do comportamento e do controle.

🎮 Deep RL (valor) Reforço + conexionista · Jogos/controle · Rede neural + função de valor (Q)

  • O que é: aprende qual ação tem maior valor esperado em cada estado.
  • Exemplos: DQN jogando Atari (DeepMind, 2013/2015).
  • Base algorítmica: Q-learning, experience replay, target networks.
  • Auge: 2013–2017.
  • Capacidades / modos: controle reativo; aprende do zero por experiência.
  • → Parte IV: capítulo planejado.

🏆 RL de Política / AlphaZero Reforço + conexionista · Jogos de tabuleiro/planejamento · Política + MCTS

  • O que é: combina rede de política/valor com busca em árvore para domínio

    perfeito de jogos.

  • Exemplos: AlphaGo (2016), AlphaZero, MuZero.
  • Base algorítmica: policy gradient, Monte Carlo Tree Search,

    self-play.

  • Auge: 2016–2020.
  • Capacidades / modos: estratégico/intelectual; supera humanos em jogos.
  • → Parte IV: capítulo planejado.

🎚️ RL Contínuo / Controle Reforço + conexionista · Robótica/controle contínuo · Ator-crítico

  • O que é: aprende políticas em espaços de ação contínuos.
  • Exemplos: PPO, SAC, DDPG; locomoção de robôs, controle industrial.
  • Base algorítmica: actor-critic, trust region, entropy regularization.
  • Auge: 2017–presente.
  • Capacidades / modos: corporal-cinestésico (controle motor).
  • → Parte IV: capítulo planejado.

💬 RLHF / RLAIF Reforço + conexionista · Alinhamento de linguagem · Modelo de recompensa + PPO/DPO

  • O que é: alinha LLMs ao usar feedback humano (ou de IA) como recompensa.
  • Exemplos: InstructGPT, ChatGPT, Claude (Constitutional AI/RLAIF).
  • Base algorítmica: modelo de recompensa, PPO, DPO (direto).
  • Auge: 2022–presente.
  • Capacidades / modos: alinhamento de comportamento e estilo.
  • → Parte IV: capítulo planejado.

Ciências e matemática salientes: psicologia (condicionamento), teoria de controle, teoria dos jogos, otimização, processos estocásticos (MDPs), economia (utilidade). Ponto forte: aprende comportamento sem rótulos; ponto fraco: amostra-ineficiente e sensível ao reward design.