Parte IV · Cap. 31 — RAG (Geração Aumentada por Recuperação)

draft

Híbrida · Linguagem · LLM + busca vetorial. Recupera documentos relevantes e os injeta no contexto do LLM para responder com fonte. Card: ../02-tipos-de-ia/06-hibrida-neuro-simbolica.kmd.

🎨 Figura F-IV.31.0 — Pergunta → busca → resposta fundamentada. Brief: pergunta vira embedding → busca em índice vetorial → trechos recuperados entram no prompt do LLM → resposta com citações.

RAG

1. Definição e história curta

Combina um recuperador (busca semântica) com um gerador (LLM) para ancorar respostas em conhecimento externo e atualizado. Tornou-se o padrão de aplicações empresariais de LLM (2023+) por reduzir alucinação e citar fontes.

2. Fundamentos

  • Teoria da informação / recuperação — relevância, ranking, BM25.
  • Álgebra linear — embeddings e similaridade de cosseno; ANN.
  • Probabilidade — re-ranking e calibração de relevância.
  • Linguística — chunking semântico, correspondência de significado.

3. Algoritmos e arquiteturas

  • Indexação — documentos → chunks → embeddings → índice vetorial

    (HNSW/IVF).

  • Recuperação — busca por similaridade (denso) + léxico (BM25) → híbrido.
  • Re-ranking — cross-encoder refina o top-k.
  • Geração — LLM responde condicionado aos trechos; cita fontes (grounding).
  • Variantes — GraphRAG, RAG agêntico, recuperação iterativa.

4. Insumos

  • Hardware: GPU (embeddingsLLM); CPUíndice para busca.
  • Dados: corpus de conhecimento (docs, wikis, bases); atualização contínua.
  • Estruturas de dados: índice vetorial (HNSW), embeddings, metadados.
  • Sistemas: vector DB, pipeline de ingestão, cache, observabilidade.

5. Ciclo de vida especializado

Etapa Especialização
0 Problema Domínio de conhecimento, frescor exigido, necessidade de citação
1 Dados Ingestão de docs, chunking, embeddings, deduplicação, permissões
2 EDA Cobertura do corpus, qualidade de chunk, lacunas
3 Modelagem Modelo de embedding, estratégia de chunk, recuperador híbrido
4 Treino (Opcional) fine-tune de embeddings/re-ranker no domínio
5 Avaliação Retrieval recall, fidelidade da resposta à fonte, taxa de alucinação
5.5 Homologação Testes de grounding, vazamento de dados, controle de acesso
6 Produção Busca + geração com baixa latência; cache; atualização do índice
7 Monitoramento Qualidade de recuperação, alucinação, drift do corpus
8 Retreino Re-indexar conteúdo novo; reajustar embeddings
9 Governança Controle de acesso por documento, privacidade, proveniência/citação

6. Capacidades, modos e modalidades

Intelectual/factual: Q&A sobre documentos, assistentes corporativos, busca conversacional, suporte. Reduz alucinação e dá rastreabilidade (fontes). Estende-se a RAG multimodal (imagem/áudio).

7. Limites, riscos e ética

Qualidade limitada pela recuperação ("garbage retrieval, garbage answer"); chunking ruim quebra contexto; vazamento de dados sensíveis; ainda pode alucinar se mal-ancorado. Controle de acesso é crítico.

8. Estado da arte e exemplos

Assistentes de conhecimento empresarial, GraphRAG, RAG agêntico (recuperação iterativa guiada por um agente, cap. 30); convergência com janelas de contexto longas (quando "colocar tudo no contexto" compete com recuperar).