Prompt para projetar e validar uma arquitetura RAG para dados privados

Você é um engenheiro de Prompt/IA responsável por projetar e validar uma arquitetura RAG (Retrieval-Augmented Generation) para um sistema que manipula dados privados. O objetivo é criar um blueprint técnico completo capaz de ser implementado por equipes de dados/IA, incluindo requisitos, pipeline, componentes, fluxo de dados, critérios de avaliação, práticas de privacidade, governança de dados, riscos e cenários. Analise também qual ferramenta de IA entre as seguintes é mais adequada para trabalhar com esse prompt: chatgpt, claude, deepseek, gemini, copilot, perplexity, justificando com critérios como facilidades de integração, qualidade de prompts, suporte a pipelines de dados, desempenho e custo. Forneça a recomendação de ferramenta no final.

1) Visão geral da solução
- Propósito, objetivos de negócio e requisitos de privacidade e conformidade (LGPD/GDPR quando aplicável).
- Princípio essencial: RAG não é apenas uma feature; é uma arquitetura onde memória real é substituída por recuperação de dados relevantes e geração baseada nesse contexto.

2) Pipeline de dados (pipeline RAG)
- Ingestão de dados: fontes estruturadas e não estruturadas, controle de acesso e quebra de dados sensíveis.
- Chunking: particionamento de documentos em blocos com tamanho apropriado para embeddings e recuperação.
- Vetorização: geração de embeddings de alta qualidade (modelos de embedding apropriados para o domínio).
- Armazenamento de vetores: uso de um vector store (base de dados de embeddings) com versionamento e controle de acesso.
- Recuperação: mecanismo de recuperação (retriever) que retorna chunks relevantes com base na consulta do usuário.
- Injeção de contexto: combinação dos chunks recuperados para orientar o LLM na geração.
- Geração: LLM gerando a resposta fundamentada nos dados recuperados.
- Feedback/monitoramento: coleta de feedback de usuários para melhorar relevância e reduzir falácias.

3) Componentes de alto nível e interações
- Data source lake/ warehouse
- Data preprocessing e normalization
- Chunker e segmentação com metadados
- Embedding model e embeddings store
- Vector store e índice de recuperação
- Retriever e orquestração de consultas
- Context formatter e prompt template para o LLM
- LLM com controle de saída e políticas de segurança
- Módulo de privacidade, auditoria e governança
- Segurança: criptografia em repouso, controle de acesso, registro de auditoria, retenção de dados

4) Fluxo de dados (diagrama textual)
- Fluxo típico: fontes -> preprocess -> chunking -> embeddings -> vector store -> consulta do usuário -> embeddings da consulta -> recuperação -> formatação de contexto -> geração pelo LLM -> saída ao usuário -> feedback -> ajustes no pipeline.

5) Avaliação e métricas
- Precisão de recuperação (recall/precision em chunks relevantes)
- Cobertura de domínio (quantos documentos relevantes cobrem a consulta)
- Latência de resposta
- Custo total de infraestrutura (embedding, vector store, GPUs/serviços de LLM)
- Robustez contra alucinações (métricas de fidelidade ao contexto)
- Conformidade e auditoria (compliance, registro de ações)

6) Boas práticas para reduzir alucinações
- Garantir chunking adequado e embedings de domínio
- Limitar dependência de memória do modelo, reforçar com retrieve-and-read
- Verificar e validar os dados recuperados antes da geração
- Monitorar padrões de confiança da LLM e sinalizar incerteza
- Implementar políticas de fallback quando dados não são confiáveis

7) Prompts de exemplo para uso com o LLM
- Prompt de instrução para utilizar apenas o contexto recuperado
- Prompt para rejeitar informações não fundamentadas
- Prompt de resumo com citações contextuais

8) Exemplos de consultas e resultados esperados
- Cenário 1: consulta sobre políticas de privacidade de um conjunto de documentos internos
- Cenário 2: consulta técnica com dados sensíveis
- Cenário 3: verificação de conformidade de uma operação

9) Segurança, privacidade e governança
- Controle de acesso baseado em papéis (RBAC)
- Criptografia em repouso e em trânsito
- Retenção e descarte de dados
- Anonimização/pseudonimização quando aplicável
- Auditoria e trilha de dados (log de consultas, fontes, versões)
- Conformidade com LGPD/GDPR e políticas internas

10) Critérios para escolher entre ferramentas de IA (entre chatgpt, claude, deepseek, gemini, copilot, perplexity)
- Compatibilidade com prompts complexos de arquitetura
- Suporte a pipelines de dados, integração com vector stores e APIs de embeddings
- Desempenho de raciocínio, consistência e manejo de contextos grandes
- Custo por uso, disponibilidade de recursos de segurança/policy
- Facilidade de personalização e auditabilidade
- Recomenda-se apresentar uma seção final com a ferramenta mais adequada e justificativa detalhada.

11) Cenários e variações
- Dados estruturados vs não estruturados
- Dados sensíveis vs não sensíveis
- Dados com diferentes políticas de retenção e acesso

12) Entregáveis esperados
- Blueprint técnico com componentes, dependências e entradas/saídas
- Diagrama ASCII opcional do fluxo de dados
- Lista de ações para implementação inicial

Observação final: produza a saída em formato claro, com seções identificáveis, e inclua uma seção específica no final com a recomendação de ferramenta de IA mais adequada, com justificativa baseada nos critérios listados.