Self-Updating RAG

Sincronizacao Automatica

Sistema RAG que detecta mudancas nos documentos e atualiza o vector store automaticamente

O Problema

Em um RAG tradicional, quando um documento e atualizado, os embeddings antigos continuam no vector store. Isso causa respostas desatualizadas, conflitos de informacao e perda de confianca no sistema.

Sem Self-Update

• Documento atualizado no Drive
• Vector store mantem versao antiga
• RAG retorna info desatualizada
• Requer re-ingestao manual

Com Self-Update

• Documento atualizado no Drive
• Trigger detecta mudanca automatico
• Deleta embeddings antigos
• Re-ingesta nova versao

Arquitetura Self-Updating

1. Watch Google Drive

Trigger monitora pasta no Google Drive. Dispara quando arquivos sao criados, modificados ou deletados.

2. Hash Comparison

Compara hash MD5 do arquivo com hash armazenado. Se diferente, arquivo foi modificado.

3. Delete Old Embeddings

Remove todos os chunks do documento antigo do vector store usando file_id como filtro.

4. Re-Ingest Document

Extrai texto, chunka, gera embeddings e armazena nova versao com timestamp atualizado.

5. Log Sync Event

Registra operacao em tabela de audit: file_id, old_hash, new_hash, timestamp, status.

Implementacao no N8N

Trigger Schedule

Schedule Trigger:

  - Every 15 minutes

  - Or: On file change event

Google Drive:

  - List files in folder

  - Get file metadata (hash)

  - Compare with stored hash

Delete + Insert

Supabase Delete:

  - DELETE FROM documents

  - WHERE file_id = '{{ file_id }}'

Supabase Insert:

  - INSERT chunks with new hash

  - Update sync_log table

Dica de Performance

Use Google Drive Push Notifications (webhooks) em vez de polling para detectar mudancas em tempo real sem consumir creditos de API desnecessariamente.

Casos de Uso Ideais

📚

Documentacao Tecnica

APIs, SDKs, manuais que mudam frequentemente

📋

Politicas Corporativas

HR, compliance, procedimentos internos

🛒

Catalogo de Produtos

Precos, especificacoes, estoque atualizado

Workflow para Download

Self-Updating RAG System

Sistema RAG auto-atualizavel com Google Drive, Qdrant e Gemini. Detecta mudancas e re-ingesta documentos automaticamente.

Watch Google Drive changes
Hash comparison MD5
Qdrant vector store
Auto delete + re-ingest

Baixar Workflow JSON

Anterior: Voice RAG Proximo: Multi-Agent RAG