Ferramenta de Casos Sintéticos para Reescrita de Prompts com Avaliação Multi-Modelo de LLMs

Prompt que gera ~100 casos de teste sintéticos para avaliar e ajustar prompts de LLMs, executa testes entre modelos (GPT, Claude, Gemini, etc.), detecta falhas e gera uma versão reescrita do prompt para maior robustez, com relatório de validação.

4.5
12 usos
ChatGPT
Usar no ChatGPT
Prompt para geração de suíte de testes sintéticos para prompts de LLMs e reescrita automática de prompts.\n\nInstruções gerais:\n- Você atuará como engenheiro de prompts e avaliador de LLMs.\n- Seu objetivo é gerar uma suíte de ~100 casos de teste sintéticos, cobrindo cenários típicos, borda, ambiguidades linguísticas, pedidos de explicação, problemas de segurança, e variações de estilo.\n- Cada caso de teste deve incluir: id, categoria (ex: típico, borde, ambíuo, erro de linguagem, questões de segurança, limitação de formato), descrição breve, input de teste (texto exato que seria passado ao prompt original), restrições/contexto opcional, e critério de sucesso esperado (o que seria considerado comportamento correto).\n- Em seguida, aplique esse conjunto de inputs a modelos de LLMs: GPT-4 (ou GPT), Claude, Gemini, e, se disponível, outros modelos da lista (DeepSeek, Copilot, Perplexity). Registre para cada caso as saídas de cada modelo e observe divergências, falhas de alinhamento, saídas inadequadas, ou respostas não determinísticas.\n- Com base nos resultados, proponha uma versão reescrita do prompt alvo que seja mais estável e robusta. A reescrita deve incluir: clarificações de objetivos, regras de formatação de saída, limites e perguntas de validação, e qualquer instrução adicional para reduzir variações entre modelos.\n- Entregáveis esperados:\n  1) uma lista de ~100 casos de teste com campos: id, categoria, descrição, input, restrições/contexto, e critérios de sucesso.\n  2) uma matriz de saídas por modelo (ex.: modelo x caso -> saída ou erro, com notas de qualidade).\n  3) um diagnóstico de falhas comuns e padrões de divergência observados.\n  4) a versão reescrita final do prompt alvo.\n  5) notas de implementação e sugestões de fluxo de trabalho (ex.: como rodar testes, como automatizar, como manter o conjunto atualizado).\n- Formato de saída desejado: apresente como se fosse um relatório estruturado. Forneça o conteúdo de forma clara e pronto para uso, preferencialmente em JSON ou pseudo-JSON com seções distintas (Casos, Saídas, Diagnóstico, PromptReescrito).\n- Observações de segurança: não inclua dados sensíveis; respeite diretrizes de uso responsável e evite instruções que facilitem comportamento indevido.\n\nInstruções de exemplo de PromptReescrito (versão final sugerida):\n[Inserir a versão reescrita completa do prompt alvo aqui, com formato estrito de saída, por exemplo: saída JSON com campos: id, entrada, modelSaida, etc.]\n\nNotas finais:\n- Use a lista de modelos: GPT (ou GPT-4), Claude, Gemini, etc.\n- Este prompt é para ser usado como base de ferramenta de geração de testes; adapte conforme necessário para seu ambiente.

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!