Parte IV · Cap. 12 — RNN / LSTM / GRU
Conexionista · Sequências · Rede recorrente. Processa sequências mantendo um estado interno ao longo do tempo. Em grande parte sucedida pelo Transformer, mas histórica e ainda útil em nichos. Card:
../02-tipos-de-ia/02-conexionista.kmd.
🎨 Figura
F-IV.12.0— O laço temporal. Brief: célula recorrente "desenrolada" no tempo, com o estado oculto passando de passo a passo; portas do LSTM (entradaesquecimentosaída).
1. Definição e história curta
Rede com realimentação que carrega estado. LSTM (1997) resolveu o desaparecimento de gradiente; dominou NLP e séries temporais até 2017 (ver Parte III, era 4).
2. Fundamentos
- Processos estocásticos / séries temporais — dependência temporal.
- Cálculo — backprop through time (BPTT); gradiente que some/explode.
- Teoria de sistemas dinâmicos — estado recorrente.
3. Algoritmos e arquiteturas
- RNN simples — estado oculto recorrente (sofre com longo prazo).
- LSTM/GRU — portas controlam memória de longo prazo.
- Bidirecional / empilhada — contexto dos dois lados, profundidade.
- Seq2seq + atenção — ponte histórica para o Transformer.
4. Insumos
- Hardware: CPU/GPU; treino sequencial (menos paralelizável que Transformer).
- Dados: sequências (texto, sensores, finanças).
- Estruturas de dados: tensores sequenciais; estado oculto.
- Sistemas: PyTorch/TF; leve em borda (modelos pequenos).
5. Ciclo de vida especializado
| Etapa | Especialização |
|---|---|
| 0 Problema | Sequência curta/streaming, recursos limitados, séries temporais |
| 1 Dados | Sequências alinhadas; janelas; normalização temporal |
| 2 EDA | Sazonalidade, tendência, autocorrelação |
| 3 Modelagem | LSTM/GRU, profundidade, bidirecional |
| 4 Treino | BPTT; gradient clipping; teacher forcing |
| 5 Avaliação | Erro de predição/sequência; horizonte |
| 5.5 Homologação | Latência de streaming, estabilidade |
| 6 Produção | Inferência streaming eficiente; borda |
| 7 Monitoramento | Drift temporal |
| 8 Retreino | Janela deslizante, novos dados |
| 9 Governança | Conforme domínio (finanças, saúde) |
6. Capacidades, modos e modalidades
Sequencial/temporal: séries temporais, streaming leve, controle embarcado; ainda competitivo onde simplicidade e latência mandam.
7. Limites, riscos e ética
Memória de longo prazo limitada; treino sequencial pouco paralelizável; superado pelo Transformer e por SSMs (cap. 13) na maioria das tarefas.
8. Estado da arte e exemplos
LSTM/GRU em séries temporais e dispositivos; ressurgência conceitual via SSMs (Mamba) que recuperam a eficiência recorrente com melhor longo prazo.