IA em Áudio, Fala e Música

Reconhecimento de Fala (ASR)

Whisper (OpenAI, 2022–2024)

• arXiv: 2212.04356
• Dados: 680K horas de áudio supervisionado da internet
• Capacidade: 100 idiomas; transcrição + tradução; zero-shot robusto
• Variantes:

• Implementações: openai-whisper, faster-whisper (CTranslate2, 4× speedup), WhisperX (diarização)

---

Canary (NVIDIA, 2024)

• Modelo: CTC/RNN-T; 1B parâmetros
• Destaque: Supera Whisper Large v3 em inglês; 4 idiomas (ENDEES/FR)
• Velocidade: Mais rápido que Whisper Large

SeamlessM4T v2 (Meta, 2023)

• arXiv: 2312.05187
• Capacidade: ASR + S2T + S2S + T2TT em 101 idiomas
• Destaque: Tradução de fala para texto e fala para fala multilingue

---

Representações de Fala (Self-Supervised)

Wav2Vec 2.0 (Meta, 2020)

• arXiv: 2006.11477
• Mecanismo: Contrastive learning sobre features de áudio sem labels
• Impacto: Fine-tuning com 10 min de dados rotulados → boa ASR
• Uso atual: Base para modelos de fala em low-resource languages

HuBERT (Meta, 2021)

• arXiv: 2106.07447
• Mecanismo: Predição de clusters de features de áudio (inspirado em BERT)
• Features: Excelentes para TTS e voice conversion

SpeechBrain

• URL: speechbrain.github.io
• Toolkit: Open-source para ASR, TTS, speaker recognition, VAD, enhancement

---

Codecs de Áudio Neural

EnCodec (Meta, 2022)

• arXiv: 2210.13438
• Mecanismo: Residual Vector Quantization (RVQ); comprime áudio em tokens discretos
• Bitrates: 1.5, 3, 6, 12, 24 kbps
• Uso: Base para modelos de linguagem de áudio (AudioLM, MusicGen, VALL-E)

Mimi (Kyutai, 2024)

• Projeto Moshi: Mimi é o codec do sistema de conversa em tempo real
• Vantagem: Baixa latência; menor bitrate que EnCodec com similar qualidade

DAC — Descript Audio Codec (2023)

• arXiv: 2306.06546
• Vantagem: Melhor qualidade que EnCodec em músicas e efeitos sonoros

---

Síntese de Voz (TTS)

F5-TTS (2024)

• arXiv: 2410.06885
• Mecanismo: Flow matching + Transformer (sem autoregressive)
• Clonagem de voz: Zero-shot com 3–5s de referência
• Qualidade: Estado da arte open-source em naturalidade

XTTS v2 (Coqui, 2023)

• Open-source: Sim
• Idiomas: 17 idiomas; clonagem de voz zero-shot
• Uso: Principal TTS open-source multilingual de qualidade

Kokoro (2024)

• Parâmetros: 82M — extremamente pequeno
• Qualidade: Comparável a modelos 10× maiores em inglês
• Licença: Apache 2.0

Fish Speech (Fish Audio, 2024)

• Idiomas: ENZHJP + outros
• Mecanismo: Codec language model sobre tokens VQVAE
• Clonagem: Zero-shot com 5s de referência

VALL-E (Microsoft, 2023)

• arXiv: 2301.02111
• Mecanismo: Language model sobre tokens EnCodec
• Destaque: Clonagem de voz em 3 segundos (primeiro paper a fazer isso de forma convincente)

ElevenLabs

• Proprietário: Líder comercial em clonagem de voz e TTS expressivo
• Qualidade: Melhor qualidade comercial em 2024

---

Conversação em Tempo Real (End-to-End)

Moshi (Kyutai, 2024)

• arXiv: 2410.00037
• Paradigma: Primeiro modelo de linguagem de fala totalmente end-to-end
• Mecanismo: Processa e gera áudio diretamente (sem transcrição intermediária)
• Latência: ~200ms (vs 1000ms+ em sistemas pipeline)
• Dual stream: Fala do usuário e fala do modelo em paralelo

GPT-4o Realtime API (OpenAI, 2024)

• Mecanismo: Áudio → GPT-4o → Áudio diretamente (sem Whisper/TTS)
• Latência: ~300ms
• Capacidade: Entonação, interrupção, barge-in

Gemini Live (Google, 2024–2025)

• Multimodal: Voz + vídeo em tempo real
• Integração: Android, Google Workspace

Ultravox (Fixie AI, 2024)

• Arquitetura: Whisper encoder + Mistral 7B; end-to-end speech-to-speech
• Open-source: Sim; referência open-source para real-time voice

---

Geração de Música

MusicGen (Meta, 2023)

• arXiv: 2306.05284
• Mecanismo: Language model sobre tokens EnCodec condicionado por texto + melodia
• Tamanhos: 300M, 1.5B, 3.3B
• Open-source: Apache 2.0

AudioLDM 2 (2023)

• arXiv: 2308.05734
• Mecanismo: Diffusion no espaço latente de áudio
• Cobre: Música, efeitos sonoros, fala

Stable Audio (Stability AI, 2024)

• Mecanismo: Diffusion com condicionamento de duração
• Resultado: Áudio musical de alta fidelidade (44.1 kHz estéreo)

Suno AI / Udio (2024)

• Proprietário: Geração de músicas completas (voz + instrumentos) a partir de texto
• Impacto: Democratizou criação musical; gerou debates sobre copyright

---

Voice Activity Detection (VAD)

Silero VAD

• Uso: Detecta presença de fala em áudio em tempo real
• Integração: faster-whisper, Whisper.cpp, pipelines de ASR

---

Benchmarks de Áudio