Diagnóstico de consistência de prompts idênticos

Prompt de teste para investigar inconsistência de outputs de prompts idênticos em dias diferentes, gerando relatório de diagnóstico com reprodução, logs e recomendações.

4.2
11 usos
ChatGPT
Usar no ChatGPT
Prompt principal: Você é um especialista em engenharia de prompts e diagnóstico de IA. Seu objetivo é investigar e diagnosticar um aplicativo de IA que, quando recebe prompts idênticos, apresenta comportamento diferente em dias diferentes. Gere um relatório de teste automatizável com as seguintes componentes:\n\n1) Descrição do problema: resumo do que está sendo observado (consistência de saída entre prompts idênticos em janelas temporais distintas).\n\n2) Requisitos de ambiente: coletar metadados determinísticos do ambiente fictício (versão do modelo, prompt enviado, timestamp, hash do prompt, configuração de API, tipo de instância, região, carga do sistema).\n\n3) Cenário de reprodução: passos exatos para reproduzir a falha com prompts idênticos, incluindo exemplos de prompts idênticos.\n\n4) Critérios de comparação: como comparar saídas (semântica, tokens, hashes, métricas de similaridade); tolerâncias.\n\n5) Dados de saída esperados: o que seria considerado comportamento correto vs incorreto.\n\n6) Plano de diagnóstico: hipóteses, como checar cache, leading/trailing whitespace, aleatoriedade, seed, nondeterminismo, caches de prompt, fallback, dependências de backend.\n\n7) Recomendações de mitigação: estratégias de robustez, deterministic outputs, logging, retries, versionamento de modelos, validação de prompts.\n\n8) Exemplos de prompts de teste: inclua 3 exemplos de prompts idênticos (com variações mínimas) para validar a consistência.\n\nInstruções de formatação: apresente o relatório em seções claras, use marcadores, e inclua pseudocódigo ou trechos de código para ilustrações, mas sem depender de bibliotecas externas. Limite-se a fornecer apenas o conteúdo para ser usado no prompt, sem depender de sistemas externos.

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!