Parte IV · Cap. 08 — TTS (Síntese de Voz)

draft

Conexionista · Texto→áudio · Autoregressivo / difusão + vocoder. Gera fala natural a partir de texto. Card: ../02-tipos-de-ia/02-conexionista.kmd.

🎨 Figura F-IV.8.0 — Do texto à voz. Brief: texto → modelo acústico → espectrograma → vocoder → forma de onda; indicar controle de timbre/emoção.

TTS — texto para voz

1. Definição e história curta

Converte texto em fala. Linhagem: concatenativo/paramétrico (clássico) → Tacotron + WaveNet (neural) → VALL-E e codecs neurais (zero-shot voice cloning) → TTS de difusão/flow de alta naturalidade.

2. Fundamentos

  • Acústica / psicoacústica — prosódia, entonação, timbre.
  • DSP — espectrograma mel, vocoding.
  • Probabilidade — geração autoregressiva ou por difusão.
  • Linguística — fonemas, grapheme-to-phoneme, prosódia.

3. Algoritmos e arquiteturas

  • Modelo acústico — texto/fonema → espectrograma (Tacotron, FastSpeech) ou

    → tokens de áudio (codec neural).

  • Vocoder — espectrograma → forma de onda (HiFi-GAN, WaveNet).
  • Codecs neurais — EnCodec/Mimi tokenizam áudio para modelos tipo LLM.
  • Clonagem — zero-shot a partir de poucos segundos (VALL-E).

4. Insumos

  • Hardware: GPU; inferência otimizável para tempo real/borda.
  • Dados: pares texto-áudio com locutores variados; áudio limpo.
  • Estruturas de dados: espectrogramas, tokens de codec, embeddings de voz.
  • Sistemas: pipelines de áudio; streaming para conversação.

5. Ciclo de vida especializado

Etapa Especialização
0 Problema Naturalidade, idiomas, controle de voz/emoção, latência (tempo real?)
1 Dados Texto-áudio multi-locutor; transcrição alinhada; consentimento de voz
2 EDA Cobertura fonética, qualidade de gravação, diversidade de locutores
3 Modelagem Acústico (autoregressivo/difusão) + vocoder; codec neural
4 Treino Treino acústico + vocoder; fine-tune de voz
5 Avaliação MOS (naturalidade), inteligibilidade, similaridade de locutor
5.5 Homologação Anti-spoofing, marca d'água de áudio, consentimento de clonagem
6 Produção Streaming de baixa latência; controle de prosódia
7 Monitoramento Qualidade, abuso (fraude por voz)
8 Retreino Novas vozes/idiomas
9 Governança Clonagem não consentida, fraude, marca d'água, identidade vocal

6. Capacidades, modos e modalidades

Auditivo/expressivo: narração, assistentes, dublagem, acessibilidade; clonagem de voz; emoção e estilo controláveis.

7. Limites, riscos e ética

Clonagem não autorizada e fraude (golpe de voz); deepfakes de áudio; viés de sotaque; necessidade de marca d'água e consentimento.

8. Estado da arte e exemplos

ElevenLabs, VALL-E 2, TTS de difusão; convergência com LLM (voz nativa em assistentes conversacionais de baixa latência).