Paradigmas Alternativos ao Deep Learning Denso

Linhas de pesquisa que rejeitam ou modificam premissas centrais do mainstream (rede neural diferenciável + backprop + escala). Relevantes quando o gargalo é memória, energia, interpretabilidade ou raciocínio simbólico — não puro desempenho em benchmarks de linguagem.

Nota de processo: este arquivo é atualizado por /k-ia-compendium via Camada D (busca explícita por novidades em cada linha listada abaixo).

Neurosimbólico (Neuro-Symbolic AI)

Combina aprendizado neural (pattern matching, perception) com raciocínio simbólico (regras, lógica, busca). Premissa: tarefas de raciocínio estruturado (matemática, programação, planejamento) se beneficiam mais de uma camada simbólica do que de mais parâmetros.

AlphaGeometry / AlphaGeometry 2

  • Paper: Nature 625, 476–482 (2024) | DeepMind
  • Mecanismo: LLM gera "auxiliary constructions" (intuição) + provador simbólico verifica/deduz (rigor). Loop até prova fechar.
  • Resultado: 2530 problemas IMO 2000-2022 (nível medalha de ouro) — anterior SOTA: 1030.
  • AlphaGeometry 2 (2025): ampliação do domínio + LLM Gemini-based; resolveu IMO 2024 P4.
  • Lição: ~100M params neural + provador simbólico bate transformer 100B+ puro em geometria olímpica.

AlphaProof

  • DeepMind, 2024 — versão para álgebra/teoria dos números via Lean 4.
  • Mecanismo: AlphaZero-style RL sobre o espaço de provas em Lean; LLM propõe táticas, solver verifica.
  • Resultado: prata IMO 2024 (4/6 problemas).

DreamCoder

  • arXiv: 2006.08381 | Ellis, Solar-Lezama (MIT/CSAIL)
  • Mecanismo: "wake-sleep" alternando síntese de programas (busca) + abstração de subprogramas reutilizáveis (aprendizado de biblioteca).
  • Domínios: lista, gráficos LOGO, regex, física simbólica.
  • Vantagem: aprende biblioteca de conceitos explícita; cada conceito é um programa legível.

Differentiable Inductive Logic (∂ILP / NS-CL)

  • ∂ILP: arXiv:1711.04574 — programa Prolog cujos pesos são diferenciáveis; aprende regras de exemplos.
  • Neuro-Symbolic Concept Learner (Mao et al., ICLR 2019) — VQA com perception neural + reasoning simbólico.
  • Logic Tensor Networks (LTNs) — Serafini & d'Avila Garcez, AAAI 2016 — fórmulas de lógica de primeira ordem com semântica fuzzy diferenciável.

Para o Kode

  • Útil pra módulos onde regras são conhecidas e fixas (contabilidade, regras tributárias BR, validação ICP-Brasil) — neuro-simbólico pode entregar accuracy alta com modelo pequeno + auditabilidade.
  • Não substitui LLM geral; complementa em tarefas estruturadas.

Tsetlin Machines

Aprendizado baseado em lógica proposicional (cláusulas conjuntivas) controlado por autômatos de Tsetlin — não usa gradientes, não usa redes neurais.

Original Tsetlin Machine

  • arXiv: 1804.01508 | Ole-Christoffer Granmo (Univ. Agder)
  • Mecanismo: N autômatos por feature decidem incluirexcluir cada literal em cláusulas; recompensapunição por feedback Type I/II.
  • Vantagens:
    • Modelo é conjunto de cláusulas booleanas legíveis (interpretável por construção)
    • Roda em microcontrolador (kB de RAM, sem FPU)
    • Treino em CPU competitivo com SVM/Random Forest em tabular

Variantes recentes

  • Convolutional Tsetlin Machine (arXiv:1905.09688) — competitivo com CNN em MNISTFashion-MNISTCIFAR-10.
  • Coalesced TM (arXiv:2108.07594) — compartilhamento de cláusulas entre classes; reduz memória 5-10×.
  • Composite TM / Plug-and-Play TM (2024-2026) — combina múltiplas TMs especializadas.
  • Graph Tsetlin Machine (2025) — grafos heterogêneos com cláusulas estruturais.

Hardware

  • Mignon AI (spin-off de Agder, 2024) — chip Tsetlin nativo, inferência sub-mW.
  • Implementações FPGA abertas (github.com/cair).

Para o Kode

  • Candidato pra edge inference em variantes mobileTVwearable quando latência <1ms e bateria importam mais que SOTA absoluto.
  • Útil pra modelos explicáveis sob LGPD/AI Act — cláusulas são auditáveis diretamente.

Hyperdimensional Computing / Vector Symbolic Architectures (HDC/VSA)

Representação como hipervetores de 10.000+ dimensões binários/bipolares; semântica via operações algébricas (bind, bundle, permute) em vez de aprendizado por gradiente.

Fundamentos

  • Kanerva, P. (2009) — Hyperdimensional Computing — manifesto original
  • Tensor Product Representations (Smolensky 1990) — antecessor
  • Holographic Reduced Representations (Plate 1995) — variante HRR

Frameworks modernos

  • Torchhd (Heddes et al., JMLR 2023) — biblioteca PyTorch para HDC; benchmarks em UCI, EuroSAT, ISOLET, EMG.
  • OpenHD (UC Irvine) — runtime HDC para CPU/FPGA.

Aplicações práticas

  • Classificação de sinais biomédicos (ECG, EMG, EEG) com one-shot ou few-shot learning.
  • Wearables (Apple/Samsung research papers 2024-2025) — gesture recognition + activity classification em chips Cortex-M.
  • Memória associativa robusta a ruído — graceful degradation com 10-30% de bit flips.

Vantagens vs deep learning

  • One-shot learning sem fine-tuning
  • Modelo aritmético (sem treino iterativo); minutos em CPU vs horas em GPU
  • Inerentemente paralelizável em hardware customizado

Para o Kode

  • Candidato para detecção de eventos on-device (toque, gesto, wake-word complementar) quando model size precisa estar abaixo de 100KB.
  • Spec relevante: specs/voice/wake-word.kmd poderia ganhar backend HDC alternativo ao TFLite.

Algoritmos de Aprendizado Alternativos ao Backprop

Forward-Forward Algorithm

  • Hinton (2022) — The Forward-Forward Algorithm: Some Preliminary Investigations
  • Mecanismo: substitui forward+backward por dois forwards — um com dados positivos (real), outro com negativos (sintético/embaralhado); cada camada maximiza "goodness" para positivos e minimiza para negativos.
  • Vantagens:
    • Não precisa armazenar ativações para backward → memória O(1) na profundidade
    • Mapeia diretamente em hardware neuromórfico ([[neuromorfico]])
    • Permite treino layer-by-layer assíncrono
  • Limitação atual: ainda atrás de backprop em accuracy; ativo em pesquisa (várias extensões 2023-2025).

Predictive Coding (PC)

  • Hierarchical Predictive Coding (Rao & Ballard 1999; Friston 2005)
  • PC Networks (Whittington & Bogacz 2017; Millidge et al. 2022) — aproximam backprop com regras locais hebbianas.
  • Conexão com biologia: considerado modelo plausível do córtex visual.

Equilibrium Propagation

  • Scellier & Bengio (2017) — sistemas físicos relaxando para mínimo de energia computam gradientes localmente.
  • Conecta com Energy-Based Models e analog computing.

Para o Kode

  • Não usar em produção hoje. Acompanhar: se hardware neuromórfico amadurecer, esses algoritmos viram a única opção viável de treino on-chip.

Energy-Based Models (EBMs) e Hopfield Moderno

Modelos definidos por uma função de energia \(E(x)\) — inferência = encontrar \(x\) que minimiza \(E\).

Modern Hopfield Networks

  • Ramsauer et al. (ICLR 2021) — Hopfield Networks Is All You Need (arXiv:2008.02217)
  • Resultado: Hopfield contínuo com função de energia exponencial tem capacidade exponencial (vs linear da versão clássica) e suas regras de atualização são equivalentes à atenção do Transformer.
  • Implicação teórica: atenção = associative memory; abre porta para EBM-based attention.

EBM modernos (Yann LeCun)

  • LeCun advoga EBM como framework unificador desde 2006; reforçou em 2022 com A Path Towards Autonomous Machine Intelligence.
  • JEPA (próxima seção) é a expressão atual da agenda EBM da Meta.

Joint Energy Models (JEM)

  • Grathwohl et al. (ICLR 2020) — classifier também é generativo via \(p(x,y) \propto e^{-E(x,y)}\).

Joint Embedding Predictive Architectures (JEPA)

Aprende representações latentes prevendo embeddings (não pixels/tokens) — abordagem não-generativa de self-supervised learning.

I-JEPA (Image-JEPA)

  • arXiv: 2301.08243 | Meta / LeCun group
  • Mecanismo: predict embedding de patches mascarados a partir de patches visíveis, no espaço latente de um encoder.
  • Resultado: competitivo com MAE/iBOT usando muito menos compute.

V-JEPA / V-JEPA 2

  • V-JEPA (Bardes et al., 2024) — vídeo; aprende dinâmica temporal.
  • V-JEPA 2 (Meta, 2025) — treinado em 2M+ horas de vídeo; transferência zero-shot para controle robótico.

Vantagens vs paradigmas generativos

  • Não desperdiça capacidade prevendo pixels irrelevantes (textura, ruído)
  • Mais data-efficient que MAE/MIM
  • Foco em representação, não geração — alinhado com a visão "world model" de LeCun

Conexão com world models

Ver também 09-aplicacoes/video-3d-world-models.md (DreamerV3, Genie 2, Cosmos).

Para o Kode

  • Relevante se algum dia o Stack precisar de vision encoder próprio (Eye 2.0, screen understanding, video moderation) — JEPA é mais compute-eficiente que CLIP/SigLIP para pre-training do zero.

Active Inference / Free Energy Principle

Framework de Karl Friston (UCL) unificando percepção, ação e aprendizado sob um único princípio: minimizar surpresa (free energy variacional).

Premissa

Agente mantém modelo generativo do mundo; age para reduzir discrepância entre predições e observações. Backprop deep learning é caso especial.

Implementações práticas recentes

  • pymdp (Heins et al., JOSS 2022) — biblioteca Python para Active Inference em POMDPs discretos.
  • VERSES AI (2023-2026) — empresa comercializando Active Inference (Genius platform); claims de eficiência radicalmente superior a RL clássico em alguns benchmarks.
  • Deep Active Inference (Çatal, Tschantz et al., 2020-2024) — combina VAE/transformer com Active Inference no objetivo.

Estado em 2026

  • Promissor teoricamente; adoção prática ainda nicho (robótica, neurociência computacional).
  • Ainda sem "ChatGPT moment" próprio.

Para o Kode

  • Não acionável hoje. Acompanhar VERSES e papers de robótica/agentes — se aparecer caso de uso onde supera RL clássico com ordens de magnitude menos dados, reavaliar.

Quadro comparativo

Paradigma Memória Treino Interpretável Hardware ideal Maturidade 2026
Neurosimbólico Médio (LLM + symbolic) Híbrido Alta (regras) GPU + CPU Prod (AlphaGeometry-class)
Tsetlin Machines Muito baixo (kB) Lógico (sem grad) Total (cláusulas) CPU / FPGA / Mignon Nicho prod
HDC / VSA Baixo (~100KB) Aritmético Médio CPU / FPGA / wearable Nicho prod
Forward-Forward Muito baixo (O(1) prof.) Local Baixo Neuromórfico Pesquisa
Predictive Coding Baixo Local hebbiano Médio Neuromórfico Pesquisa
Energy-Based Alto (treino) Variacional Médio GPU Teórico maduro
JEPA Médio SSL backprop Baixo GPU Produção (Meta)
Active Inference Variável Variacional Alta (modelo gen.) CPU/GPU Nicho

Recomendação consolidada para o Kode

Curto prazo (próximos 12 meses): nenhum desses paradigmas substitui a stack LLM+MoE+Transformer. Monitorar.

Médio prazo (12-36 meses): se variantes wearable / TV / mobile precisarem de inferência <1mW ou <100KB, Tsetlin Machines + HDC entram como candidatos sérios — possivelmente via engines/sdk/koder_kit android-side.

Longo prazo / oportunista: neurosimbólico é a aposta mais consequente para a Stack Koder — alinha com o objetivo de IA auditável + LGPD/AI Act friendly em domínios fortemente regulados (saúde pública, perícia digital, contabilidade BR).

Acompanhar com prioridade: AlphaGeometry-class systems, VERSES claims, qualquer paper Tsetlin com performance >90% em benchmark padrão.