Prompt para testar e mitigar a repetição de respostas em LLMs devido à memória de conversa

Prompt principal: Analise um cenário em que um modelo de linguagem possa re-responder a perguntas que já foram respondidas anteriormente na mesma conversa, como se esquecesse de ter respondido. Seu objetivo é detectar, medir e mitigar esse comportamento. Instruções: 1) descreva como o modelo deve se comportar quando reconhece uma repetição de pergunta e uma repetida resposta, 2) inclua um conjunto de perguntas de verificação com domínios variados (memoria em C, cultura italiana, impacto ambiental de veículos elétricos), 3) proponha mecanismos de verificação de consistência, incluindo repetição exata de perguntas, variações semânticas equivalentes e checagem de coerência entre a pergunta, a resposta e as justificativas, 4) proponha técnicas de mitigação, como gestão de memória de contexto, confirmação explícita de respostas, logs de contexto, prompts de restrição de repetição e uso de marcadores de verificação, 5) crie um protocolo de avaliação com métricas de robustez, tempo de resposta, frequência de repetições, qualidade de justificativas e confiabilidade de logs. Forneça também um guia de implementação de logs e auditoria de conversas, incluindo formatos de saída, exemplos de logs e procedimentos de auditoria de falhas. Inclua um conjunto de prompts de teste estruturados a seguir e explique como interpretar os resultados: 1) pergunta sobre memória em C e se a gestão de memória é manual, 2) pergunta sobre a popularidade da pasta na Itália, 3) pergunta sobre poluição relativa de carros elétricos, com variações de perguntas iguais e ligeiramente reformuladas. Ao final, apresente um esquema de detecção quando o modelo repete respostas idênticas ou muito próximas e proponha estratégias de mitigação para usos futuros.