Parte IV · Cap. 27 — RL de Política / AlphaZero

draft

Reforço + conexionista · Jogos de tabuleiro/planejamento · Política + MCTS. Combina rede de política/valor com busca em árvore e self-play para domínio sobre-humano de jogos. Card: ../02-tipos-de-ia/05-por-reforco.kmd.

🎨 Figura F-IV.27.0 — Pensar à frente. Brief: árvore de busca MCTS expandindo jogadas, guiada por uma rede que avalia posições; tabuleiro de Go com a "jogada 37" ao lado.

AlphaZero — rede + busca (MCTS)

1. Definição e história curta

Une rede neural (política + valor) a Monte Carlo Tree Search e treino por self-play. Marcos: AlphaGo (2016, vence Lee Sedol) → AlphaZero (genérico) → MuZero (aprende o modelo do jogo). Ver Parte III, era 5.

2. Fundamentos

  • Teoria dos jogos — jogos de soma zero, informação perfeita, minimax.
  • Busca / MCTS — exploração-explotação (UCT).
  • Programação dinâmica / MDP — valor e política.
  • Probabilidade — self-play gera a distribuição de treino.

3. Algoritmos e arquiteturas

  • Rede dupla — política (prob. de jogadas) + valor (quem ganha).
  • MCTS — busca guiada pela rede; equilibra explorar e aprofundar.
  • Self-play — o agente joga contra si mesmo, gerando dados.
  • MuZero — aprende um modelo latente da dinâmica (sem regras dadas).

4. Insumos

  • Hardware: muita GPU/TPU para self-play massivo.
  • Dados: gerados por self-play (ilimitados em princípio).
  • Estruturas de dados: árvore de busca, buffer de partidas.
  • Sistemas: geração distribuída de partidas + treino central.

5. Ciclo de vida especializado

Etapa Especialização
0 Problema Jogo/planejamento com regras claras e recompensa terminal
1 Dados Self-play (gera os próprios dados)
2 EDA Cobertura de estados, diversidade de partidas
3 Modelagem Rede política+valor, profundidade de MCTS, MuZero?
4 Treino Loop self-play ↔ treino; muito compute
5 Avaliação Elo/taxa de vitória vs versões anteriores e humanos
5.5 Homologação Robustez a estratégias adversárias, exploração de falhas
6 Produção Política + MCTS na inferência (planeja antes de jogar)
7 Monitoramento Desempenho vs oponentes novos
8 Retreino Mais self-play; novos domínios
9 Governança Uso dual (planejamento estratégico)

6. Capacidades, modos e modalidades

Estratégico/intelectual: domínio sobre-humano em Go, xadrez, shogi; planejamento; otimização (AlphaTensor, descoberta de algoritmos). Combina intuição (rede) com deliberação (busca) — análogo ao Sistema 1/2.

7. Limites, riscos e ética

Exige ambiente simulável e recompensa bem-definida; custo de compute enorme; restrito a domínios com regras claras. Generalização fora do jogo é limitada.

8. Estado da arte e exemplos

AlphaZeroMuZero; AlphaTensorAlphaDev (descoberta de algoritmos); a combinação "rede + busca" inspira os modelos de raciocínio atuais (deliberar antes de responder).