Parte IV · Cap. 29 — RLHF / RLAIF

draft

*Reforço + conexionista · Alinhamento de linguagem · Modelo de recompensa + PPO/DPO.* Alinha LLMs (cap. 01) ao usar feedback humano (ou de IA) como recompensa. Card: ../02-tipos-de-ia/05-por-reforco.kmd.

🎨 Figura F-IV.29.0 — Do feedback ao comportamento. Brief: humanos comparando duas respostas → modelo de recompensa aprende a preferência → LLM é otimizado para maximizá-la; setas do laço de RL.

RLHF / RLAIF

1. Definição e história curta

Transforma preferências humanas em sinal de recompensa para ajustar o comportamento de um LLM. Marco: InstructGPT (2022) e ChatGPT; a Constitutional AI / RLAIF (Anthropic) usa princípios e feedback de IA. É o que torna um LLM cru em assistente útil, honesto e seguro.

2. Fundamentos

  • Teoria da decisão / utilidade — preferências → função de recompensa.
  • Otimização / RL — PPO; ou DPO (otimização direta, sem RL explícito).
  • Psicometria — qualidade e consistência do rótulo humano.
  • Ética / filosofia — quais valores alinhar, e de quem.

3. Algoritmos e arquiteturas

  • Coleta de preferências — humanos (ou IA) comparam respostas.
  • Modelo de recompensa — aprende a prever a preferência.
  • Otimização — PPO maximiza recompensa com penalidade KL ao modelo base

    (evita over-optimization).

  • DPO — deriva a política direto das preferências (mais simples/estável).
  • RLAIF / Constitutional AI — feedback gerado por IA guiado por princípios.

4. Insumos

  • Hardware: GPU (treino do modelo de recompensa + otimização do LLM).
  • Dados: pares de preferência (humanos/IA); prompts diversos.
  • Estruturas de dados: datasets de comparação, reward scores.
  • Sistemas: infra de anotação, pipeline de RL/DPO, eval de alinhamento.

5. Ciclo de vida especializado

Etapa Especialização
0 Problema Definir comportamento-alvo (útilhonestoinofensivo) e princípios
1 Dados Coletar preferências (rotuladores humanos ou IA); diretrizes
2 EDA Concordância entre anotadores, cobertura de tópicos, viés
3 Modelagem Modelo de recompensa; escolher PPO vs DPO; constituição (RLAIF)
4 Treino Treinar recompensa → otimizar LLM (com KL ao base)
5 Avaliação Win rate humano, segurança, recusa apropriada, reward hacking
5.5 Homologação Red team, jailbreak, viés, calibração de recusa
6 Produção Modelo alinhado servido (é a fase 4/pós-treino do LLM)
7 Monitoramento Taxa de recusa, queixas, drift de comportamento
8 Retreino Novas preferências/políticas; nova iteração
9 Governança Quais valores, de quem; transparência; sycophancy; segurança

6. Capacidades, modos e modalidades

Não é um "tipo" autônomo, e sim a etapa de alinhamento que molda o comportamento dos LLMs e multimodais (caps. 01, 14). Define utilidade, tom, segurança e recusa.

7. Limites, riscos e ética

Reward hacking e over-optimization; sycophancy (bajulação); viés dos rotuladores; "alinhar a quais valores?" é questão aberta; custo de anotação. RLAIF reduz custo mas herda vieses do modelo-juiz.

8. Estado da arte e exemplos

InstructGPTChatGPT (RLHF), Claude (Constitutional AIRLAIF), DPO e variantes (simplificam o pipeline); área central de segurança e alinhamento de IA, em rápida evolução.

Paradigma Por Reforço completo (caps. 26–29). Índice da Parte IV: INDEX.kmd.