Parte IV · Cap. 13 — SSM / Mamba

draft

Conexionista · Sequências longas · Modelo de espaço de estados seletivo. Alternativa ao Transformer com custo linear no comprimento da sequência. Card: ../02-tipos-de-ia/02-conexionista.kmd.

🎨 Figura F-IV.13.0 — Varredura de estado. Brief: sequência longa percorrida por um estado que se atualiza linearmente, contrastada com a matriz de atenção quadrática do Transformer (lado a lado).

SSM / Mamba

1. Definição e história curta

Família baseada em espaços de estado (teoria de controle) adaptada a deep learning: S4 (2021) → Mamba (2023, seleção dependente da entrada). Disputa o nicho de contexto muito longo.

2. Fundamentos

  • Teoria de controle / sistemas dinâmicos — equações de estado contínuas.
  • Processamento de sinais — convolução/recorrência; resposta ao impulso.
  • Álgebra linear — discretização de SSM; varredura paralela.
  • Teoria da informação — compressão de histórico em estado de tamanho fixo.

3. Algoritmos e arquiteturas

  • SSM — x' = Ax + Bu; y = Cx + Du, discretizado.
  • S4 — parametrização estruturada (HiPPO) para longo prazo.
  • Mamba — seleção (parâmetros dependem da entrada) + varredura paralela

    eficiente em hardware.

  • Híbridos — intercalam blocos SSM e atenção.

4. Insumos

  • Hardware: GPU; kernels de varredura otimizados (memória eficiente).
  • Dados: sequências longas (texto, DNA, áudio).
  • Estruturas de dados: tensores de estado; sem KV-cache crescente.
  • Sistemas: implementações com selective scan customizado.

5. Ciclo de vida especializado

Etapa Especialização
0 Problema Contexto muito longo, custo linear, streaming
1 Dados Sequências longas; mesmas práticas de LLM
2 EDA Distribuição de comprimentos, dependências de longo alcance
3 Modelagem SSM puro vs híbrido com atenção; tamanho de estado
4 Treino Como LLM; varredura paralela no treino
5 Avaliação Tarefas de longo contexto (needle-in-haystack), perplexidade
5.5 Homologação Estabilidade em sequências muito longas
6 Produção Inferência com estado fixo (memória constante) — vantagem
7 Monitoramento Qualidade vs comprimento
8 Retreino Como LLM
9 Governança Como LLM

6. Capacidades, modos e modalidades

Sequencial eficiente: contexto longo (documentos, genômica, áudio) com memória constante na inferência; modos similares ao LLM.

7. Limites, riscos e ética

Mais novo e menos maduro que o Transformer; vantagem depende da tarefa; ecossistema em formação. Riscos gerais herdados dos modelos de linguagem.

8. Estado da arte e exemplos

Mamba/Mamba-2, Jamba (híbrido SSM-Transformer); área ativa de pesquisa de arquitetura para superar o custo quadrático da atenção.