Ferramenta de Casos Sintéticos para Reescrita de Prompts com Avaliação Multi-Modelo de LLMs
Prompt que gera ~100 casos de teste sintéticos para avaliar e ajustar prompts de LLMs, executa testes entre modelos (GPT, Claude, Gemini, etc.), detecta falhas e gera uma versão reescrita do prompt para maior robustez, com relatório de validação.
4.5
12 usos
ChatGPT
Prompt para geração de suíte de testes sintéticos para prompts de LLMs e reescrita automática de prompts.\n\nInstruções gerais:\n- Você atuará como engenheiro de prompts e avaliador de LLMs.\n- Seu objetivo é gerar uma suíte de ~100 casos de teste sintéticos, cobrindo cenários típicos, borda, ambiguidades linguísticas, pedidos de explicação, problemas de segurança, e variações de estilo.\n- Cada caso de teste deve incluir: id, categoria (ex: típico, borde, ambíuo, erro de linguagem, questões de segurança, limitação de formato), descrição breve, input de teste (texto exato que seria passado ao prompt original), restrições/contexto opcional, e critério de sucesso esperado (o que seria considerado comportamento correto).\n- Em seguida, aplique esse conjunto de inputs a modelos de LLMs: GPT-4 (ou GPT), Claude, Gemini, e, se disponível, outros modelos da lista (DeepSeek, Copilot, Perplexity). Registre para cada caso as saídas de cada modelo e observe divergências, falhas de alinhamento, saídas inadequadas, ou respostas não determinísticas.\n- Com base nos resultados, proponha uma versão reescrita do prompt alvo que seja mais estável e robusta. A reescrita deve incluir: clarificações de objetivos, regras de formatação de saída, limites e perguntas de validação, e qualquer instrução adicional para reduzir variações entre modelos.\n- Entregáveis esperados:\n 1) uma lista de ~100 casos de teste com campos: id, categoria, descrição, input, restrições/contexto, e critérios de sucesso.\n 2) uma matriz de saídas por modelo (ex.: modelo x caso -> saída ou erro, com notas de qualidade).\n 3) um diagnóstico de falhas comuns e padrões de divergência observados.\n 4) a versão reescrita final do prompt alvo.\n 5) notas de implementação e sugestões de fluxo de trabalho (ex.: como rodar testes, como automatizar, como manter o conjunto atualizado).\n- Formato de saída desejado: apresente como se fosse um relatório estruturado. Forneça o conteúdo de forma clara e pronto para uso, preferencialmente em JSON ou pseudo-JSON com seções distintas (Casos, Saídas, Diagnóstico, PromptReescrito).\n- Observações de segurança: não inclua dados sensíveis; respeite diretrizes de uso responsável e evite instruções que facilitem comportamento indevido.\n\nInstruções de exemplo de PromptReescrito (versão final sugerida):\n[Inserir a versão reescrita completa do prompt alvo aqui, com formato estrito de saída, por exemplo: saída JSON com campos: id, entrada, modelSaida, etc.]\n\nNotas finais:\n- Use a lista de modelos: GPT (ou GPT-4), Claude, Gemini, etc.\n- Este prompt é para ser usado como base de ferramenta de geração de testes; adapte conforme necessário para seu ambiente.
Tags relacionadas
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.