Interpretabilidade Mecanicista e Transparência

Por Que Interpretabilidade?

• Confiança: Entender POR QUE o modelo dá uma resposta, não só O QUE ele responde
• Alinhamento: Detectar comportamentos problemáticos antes que se manifestem
• Debugging: Localizar onde erros surgem no processamento
• Ciência: Entender o que os modelos de fato "aprenderam" sobre o mundo

---

Mechanistic Interpretability (Mech Interp)

Subcampo que tenta engenharia reversa de redes neurais — descobrir os algoritmos implementados pelos pesos.

Pioneiros

• Anthropic: Maior equipe de mech interp; Chris Olah fundou o campo
• DeepMind: Equipe dedicada; trabalho em ativações e representações
• MIT CSAIL: Descobertas sobre circuitos e features (breakthrough 2026)

---

Conceitos Fundamentais

Features (Representações)

• Hipótese: Redes neurais representam conceitos como direções no espaço de ativação
• Feature = direção no espaço de ativação que ativa para um conceito específico
• Linear representation hypothesis: Conceitos são representados linearmente (soma de vetores)

Superposition

• Problema: Redes com N neurônios representam muito mais de N features (sobreposição)
• Mecanismo: Features dividem neurônios — cada neurônio responde a múltiplas features
• Toy model: "Toy Models of Superposition" (Elhage et al., Anthropic, 2022) demonstrou isso formalmente

Circuits

• Conceito: Subgrafos de pesos que implementam algoritmos computacionais específicos
• Exemplo: "Induction heads" — mecanismo de cópia em contexto descoberto em todos os Transformers
• Localização: Quais atenção heads e MLPs são responsáveis por qual comportamento?

---

Sparse Autoencoders (SAEs)

A técnica mais importante atualmente para extrair features interpretáveis.

Como Funciona

1. Treina autoencoder com ativação esparsa sobre ativações do modelo
2. O encoder extrai features (muitas — mais que neurônios)
3. Cada feature corresponde a um conceito interpretável

Anthropic — "Scaling and Evaluating SAEs" (2024)

• arXiv: 2408.05147
• Escala: SAEs com 1M+ features em Claude 3 Sonnet
• Resultado: Descobriram features para: Barack Obama, embrião, câncer, violência, criptografia...
• "Brain microscope": Cada feature tem um interpretador automático via LLM

Gemma Scope 2 (Google, 2025)

• Lançamento: 2025
• Escala: SAEs para Gemma 2 2B, 9B, 27B — pesos públicos
• Features: 16K a 1M features por camada
• Open-source: Pesos de SAE disponíveis no HuggingFace
• Uso: Pesquisa da comunidade sobre interpretabilidade

EleutherAI — SAE para Pythia / GPT-NeoX

• Reprodução de técnicas de SAE em modelos menores e totalmente open

---

Discoveries em Circuits

Induction Heads (Anthropic, 2022)

• arXiv: 2209.11895
• Descoberta: Mecanismo de "cópia de padrão" que emerge em qualquer Transformer de 2+ camadas
• Função: [A][B]...[A] → prediz [B]; base do in-context learning

Indirect Object Identification Circuit (MIT, 2022)

• arXiv: 2211.00593
• Exemplo: "When Mary and John went to the store, John gave a drink to" → Mary
• Resultado: Circuito de 26 atenção heads identificado com funções específicas

Factual Associations (MIT, 2022)

• ROME paper: arXiv:2202.05262
• Achado: Fatos são armazenados em camadas MLP específicas (medial layers)
• Implicação: "Edição" cirúrgica de fatos no modelo (model editing)

---

Model Editing

Modificar fatos específicos no modelo sem re-treino.

ROME — Rank-One Model Editing

• arXiv: 2202.05262
• Mecanismo: Identifica e modifica diretamente as entradas MLP que armazenam o fato

MEMIT — Mass-Editing Memory in a Transformer

• arXiv: 2210.07229
• Escala: Edita milhares de fatos de uma vez

WISE / GRACE

• Abordagens alternativas com "armazenamento externo" de edições

---

Probing

Técnica mais simples: treinar um classificador linear sobre ativações para detectar conceitos.

• Conceito: Se um probe linear consegue prever X a partir de ativação Y, então Y representa X linearmente
• Uso: Verificar se modelos têm representação de verdade/falsidade, sentimento, etc.
• Limitação: Probe funcionar não prova que o modelo usa essa informação

---

Attention Analysis

BertViz / TransformerLens

• BertViz: Visualização de attention patterns (bertviz.org)
• TransformerLens: Toolkit de Mech Interp (Neel Nanda, Anthropic/DeepMind)
  • URL: github.comneelnanda-ioTransformerLens
  • Features: hooks para ativações, logit lens, attention patterns

---

MIT Breakthrough 2026

• Anúncio: MIT CSAIL, março 2026
• MIT Tech Review: Eleito uma das "10 Breakthrough Technologies 2026"
• Descoberta: Mapeamento de "conceitos de alto nível" para circuitos específicos em Transformers grandes (70B+)
• Método: SAEs + ablation studies automatizados em escala
• Resultado: Primeiro mapeamento causal confirmado (não apenas correlacional) entre conceito e circuito
• Implicação: Permite "switch off" comportamentos específicos cirurgicamente

---

Vetores de Emoção em Claude (Anthropic, 2026)

• Descoberta: Pesquisadores identificaram 12 vetores de emoção distintos nas ativações internas de Claude
• Emoções mapeadas: Happy, Hostile, Afraid, Blissful, e mais 8 estados afetivos
• Método: Probing linear + análise de steering em ativações residual stream
• Implicação: Modelos de linguagem desenvolvem representações internas que se comportam funcionalmente como emoções — não metáfora, mas estrutura computacional real
• Cautela: Existência de representação ≠ "sentir" emoções — debate filosófico em aberto

---

Ferramentas e Recursos

---

Limitações Atuais

1. Escala: Técnicas funcionam bem em GPT-2 (124M); muito mais difícil em 70B+
2. Completude: SAEs capturam features mas não todo o comportamento
3. Causalidade: Correlação ≠ causação; muitas descobertas são correlacionais
4. Composicionalidade: Features individualmente interpretáveis ≠ raciocínio interpretável

---

Relevância para o Kode

• Debug de comportamentos: Se Kode recusa código legítimo ou aceita código malicioso, mech interp pode localizar o erro
• Confiança: Para uso em ambientes críticos, interpretabilidade é requisito
• Recomendação: Integrar TransformerLens em pipeline de avaliação; monitorar Gemma Scope e Anthropic releases para técnicas aplicáveis