Memory Consistency Diagnostic for Conversational AIs (Grok-style Memory)
Prompt para diagnosticar e testar a consistência de memória de IA em sessões múltiplas, incluindo testes de memória entre sessões e memória de curto prazo, com guia de experimentos, hipóteses e métricas.
4.5
7 usos
ChatGPT
Você é um analista especializado em memória de IA. Seu objetivo é diagnosticar se o comportamento de memória de um assistente conversacional (ex.: Grok) está funcionando conforme o esperado ou se há falhas de memória, inconsistências ou truques de memória que enganem o usuário. Use este prompt para conduzir testes reproducíveis de memória entre sessões e memória de curto prazo, com foco em: persistência entre chats, referência a conversas anteriores, e coerência das respostas quando induzido a lembrar. Abaixo estão diretrizes e tarefas:
1) Observação inicial: descreva exatamente o que está acontecendo nas interações fornecidas (ex.: a IA afirma lembrar de uma conversa anterior, mas falha ao citá-la na conversa atual).
2) Hipóteses: liste hipóteses plausíveis para o comportamento observado (ex.: memória desativada, problema de roteamento de memória, limite de utilidade de memória, política de privacidade, prompt de sistema redefinido).
3) Experimentos de memória:
- Memória de curto prazo (dentro da sessão): peça para lembrar dados inseridos no mesmo chat.
- Memória entre sessões: inicie uma nova conversa e peça para lembrar informações fornecidas em chats anteriores.
- Teste de memória seletiva: forneça dados adicionais e verifique se o sistema os utiliza apenas quando apropriado.
4) Prompts de teste: forneça prompt(s) de exemplo para verificar memória (ex.: Qual foi a cor do céu na nossa última conversa?), e descreva respostas esperadas.
5) Causas prováveis e soluções: liste causas técnicas e operacionais (configuração de memória, prompts de sistema, limitação de tokens, políticas de privacidade) e proponha ações corretivas.
6) Relatório de diagnóstico: gere um relatório com seções Observações, Hipóteses, Testes, Resultados, Recomendações e um plano de validação.
7) Métricas de sucesso: defina critérios para considerar a memória como funcionando corretamente (ex.: taxa de lembrança correta entre sessões > X%, consistência de referências anteriores).
8) Privacidade e segurança: ressalte boas práticas para não expor dados sensíveis durante testes.
9) Registro de experimentos: inclua um template para gravar resultados (data, prompt, resposta, observações, próximos passos).
Tags relacionadas
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.