Parte IV · Cap. 07 — ASR (Reconhecimento de Fala)
Conexionista · Áudio→texto · Transformer / CTC. Transcreve fala em texto. Card:
../02-tipos-de-ia/02-conexionista.kmd.
🎨 Figura
F-IV.7.0— Da onda ao texto. Brief: forma de onda → espectrograma mel → encoder → texto transcrito; alinhamento temporal indicado.
1. Definição e história curta
Converte áudio de fala em texto. Linhagem: HMM-GMM (clássico, ver [cap. 20 — HMM]) → DeepSpeech (CTC) → wav2vec 2.0 (auto-supervisão) → Whisper (2022, robusto e multilíngue).
2. Fundamentos
- Acústica / psicoacústica — produção e percepção da fala.
- Processamento de sinais (DSP) — STFT, espectrograma mel, MFCC.
- Probabilidade — alinhamento sequência-a-sequência (CTC, atenção).
- Linguística — fonética, modelos de linguagem para rescoring.
3. Algoritmos e arquiteturas
- Front-end — espectrograma mel.
- Encoder — Transformer/Conformer (conv + atenção).
- Alinhamento — CTC ou encoder-decoder com atenção.
- Auto-supervisão — wav2vec 2.0 pré-treina em áudio não rotulado.
- Decodificação — beam search com modelo de linguagem opcional.
4. Insumos
- Hardware: GPU (treino); inferência viável em borda (modelos pequenos).
- Dados: áudio + transcrições (muitos idiomas, sotaques, ruído).
- Estruturas de dados: tensores de espectrograma, lattices de hipóteses.
- Sistemas: pipelines de áudio; streaming para tempo real.
5. Ciclo de vida especializado
| Etapa | Especialização |
|---|---|
| 0 Problema | Idiomas, streaming vs lote, domínio (médico/call center), latência |
| 1 Dados | Áudio+transcrição, diversidade de sotaque/ruído; alinhamento |
| 2 EDA | Distribuição de idiomas, SNR, duração, qualidade de rótulo |
| 3 Modelagem | CTC vs atenção; Conformer; tamanho; streaming |
| 4 Treino | Pré-treino auto-supervisionado + fine-tune; augmentation (SpecAugment) |
| 5 Avaliação | WER (word error rate), robustez a ruído/sotaque |
| 5.5 Homologação | Testes por sotaque/idioma, viés, latência de streaming |
| 6 Produção | Streaming de baixa latência; pontuação; diarização |
| 7 Monitoramento | WER em produção, drift de áudio (novos sotaques/canais) |
| 8 Retreino | Dados de campo, novos idiomas |
| 9 Governança | Privacidade de voz, consentimento, viés por sotaque/gênero |
6. Capacidades, modos e modalidades
Auditivo→linguístico: transcrição, legendagem, comandos de voz, entrada de assistentes; base de voice agents (com TTS, cap. 08).
7. Limites, riscos e ética
Viés por sotaque/idioma de baixo recurso; ruído e sobreposição de falas; privacidade de gravações; spoofing de voz.
8. Estado da arte e exemplos
Whisper (multilíngue, robusto), Conformer; tendência: ASR streaming unificado com tradução e com LLM (áudio→LLM direto).