Pós-Treino: SFT, Alinhamento e Reasoning

Supervised Fine-Tuning (SFT)

• Abordagem: Pares instruction + response; cross-entropy loss padrão
• Dados: UltraChat, WizardLM, OpenMathInstruct, The Stack v2 (para código)
• Ponto de partida: Sempre começa aqui antes de qualquer preference optimization

---

Métodos de Preference Optimization

RLHF — Reinforcement Learning from Human Feedback

• arXiv: 2203.02155 (InstructGPT)
• Pipeline: SFT → Reward Model → PPO
• Problema: Complexo, instável, requer reward model separado
• Quando usar: Quando você precisa de controle fino de comportamento (ex: Claude nível de segurança)

DPO — Direct Preference Optimization

• arXiv: 2305.18290 | NIPS 2023
• Autores: Rafailov et al.
• Mecanismo: Reformula RLHF como classificação; elimina reward model
• Dados necessários: Pares (preferred, rejected) por prompt
• Vantagem: Muito mais simples que PPO; qualidade próxima
• Usado por: Fine-tuning do Llama 3, Qwen 2.5, maioria dos modelos modernos

KTO — Kahneman-Tversky Optimization

• Vantagem sobre DPO: Funciona com feedback binário (bom/ruim) sem pares; dados mais fáceis de coletar
• Base: Modelo de utilidade Kahneman-Tversky (prospect theory)

ORPO — Odds Ratio Preference Optimization

• Mecanismo: Combina SFT loss + penalidade de odds ratio em uma única etapa
• Vantagem: Elimina fase SFT separada; treina em um passo só

SimPO — Simple Preference Optimization

• Mecanismo: Usa likelihood médio por token como reward; adiciona target reward margin
• Vantagem: Mais simples que DPO; sem modelo de referência

IPO — Identity Preference Optimization

• Foco: Alinhamento de dados para aprendizado de preferência

---

Reinforcement Learning com Recompensa Verificável (RLVR)

PPO — Proximal Policy Optimization

• arXiv: 1707.06347
• Quando usar: Shaping comportamental forte; quando reward model é confiável
• Custo: Alto — requer policy model + value model + reward model em memória

GRPO — Group Relative Policy Optimization

• arXiv: 2402.03300 (DeepSeekMath)
• Mecanismo: Elimina critic model; estima baseline a partir de scores de grupo
• Vantagem: Mais eficiente em memória que PPO; especialmente bom para raciocínio
• Usado por: DeepSeek-R1, DeepSeek-Math, muitos modelos de reasoning 2025

REINFORCE++

• arXiv: 2501.03262
• Variante: Estabiliza REINFORCE clássico para LLMs grandes

DAPO (ByteDance)

• arXiv: 2503.14476
• Sistema: RL em larga escala open-source; clipping adaptativo, token-level policy gradient
• Problema resolvido: Instabilidades no treinamento de modelos de reasoning com CoTs longos (reward collapse, entropy collapse)
• Resultados: 50 pontos no AIME 2024; supera DeepSeek-R1-Zero com 50% menos passos de treinamento
• Técnicas chave: Dynamic Sampling Policy Optimization (DSPO) + Clip-Higher heuristic + token-level loss para CoTs longos
• Quando usar: Treinamento RLVR quando os CoTs são muito longos (>2K tokens) e PPO/GRPO colapsam

---

Reward Models

Outcome Reward Models (ORMs)

• Feedback: Apenas no resultado final (esparso)
• Problema: Não localiza erros intermediários

Process Reward Models (PRMs)

• arXiv: 2305.20050 (Let's Verify Step by Step)
• Feedback: A cada passo do raciocínio (denso)
• Vantagem: Localiza erros; melhor interpretabilidade; permite search na inferência
• Resultado: Modelos menores com PRM superam modelos maiores com ORM

---

Constitutional AI (CAI)

• arXiv: 2212.08073 | Anthropic 2022
• Mecanismo: Modelo critica e revisa próprias saídas usando princípios ("constituição") predefinidos
• Benefício: Alinhamento escalonável sem labels humanos constantes
• Variante: RLAIF — AI feedback substitui human feedback no reward model

---

LLM-as-Judge

• Conceito: LLM avalia qualidade de respostas de outros LLMs
• Surveys: arXiv:2412.05579 (LLMs-as-Judges: Comprehensive Survey)
• Tipos: Single-LLM, Multi-LLM, Agent-as-a-Judge
• Bias comum: Position bias, verbosity bias, self-preference bias
• Uso: AlpacaEval 2.0, Arena-Hard — baseados em LLM-as-Judge

---

Test-Time Compute (Scaling de Inferência)

• Conceito: Gastar compute na inferência frequentemente rende mais que aumentar modelo
• arXiv: 2408.03314 (Scaling Test-Time Compute)
• Técnicas:
  • Múltiplas amostras + verificação (best-of-N)
  • MCTS em texto
  • Beam search com PRM
  • Extended thinking (Claude, o1/o3)
• Base dos modelos: OpenAI o1/o3, Claude Extended Thinking, DeepSeek-R1

---

Paradigma de Reasoning (2025–2026)

O maior salto de raciocínio vem de RLVR com recompensas verificáveis:

1. Dados de raciocínio de alta qualidade: CoTs longos verificáveis (matemática olímpica, código)
2. Process Reward Models: Feedback a cada passo
3. RLVR (GRPO/PPO): reward = "passou ou não passou" nos testes
4. Test-time search: beam search + verificador formal

Custo realista para reproduzir R1-style: 2× RTX 4090 por 2–4 semanas de experimentação.

---

Recomendação de Pipeline para Kode