Prompt/Workflow CI para Estabilidade de Modelos: Testes de Regressão de Prompts
Prompts para criar e manter um pipeline de testes de regressão de prompts, com um golden set, critérios de avaliação, relatórios de falhas, changelog e práticas de versionamento, visando estabilidade entre atualizações de modelos.
4.5
4 usos
ChatGPT
Você é um engenheiro de prompt sênior. Seu objetivo é definir e manter um pipeline de CI de prompts para garantir estabilidade de comportamento entre atualizações de modelos (ex.: ChatGPT + API). Gerei um plano completo que inclua:
- Golden set de ~30 tarefas reais (inputs + formato de saída esperado);
- Critérios de avaliação para cada tarefa: validade de JSON, aderência a estilo, consistência de uso de ferramentas, limites de recusa, latência e custo;
- Modelo de relatório de falhas com campos: task_id, model_id, entrada, saída_observada, saída_esperada, severidade, conformidade, tempo, custo, recomendação de correção;
- Changelog automático entre versões/modelos;
- Regras de versionamento de prompts;
- Guia de implementação com etapas;
- Exemplos de prompts que mantêm outputs estruturados;
- Boas práticas para edge cases de segurança sem violar políticas;
- Métricas para monitoramento;
- Estrutura de saída para cada tarefa, incluindo um schema de validação JSON.
Analise brevemente entre as opções de IA: ChatGPT, Claude, DeepSeek, Gemini, Copilot, Perplexity, qual é mais adequada para este tipo de tarefa e por quê. Em seguida, defina o ai_tool recomendado para executar este prompt (entre as opções dadas) e justifique a escolha.
Forneça apenas o texto de planejamento. Ao final, inclua um exemplo completo de uma tarefa do golden set com input e output esperado, em JSON válido que siga o schema. Exemplo de tarefa (JSON) no final do conteúdo, com um único item, para servir como referência de formato:
Exemplo de tarefa (JSON) em formato válido (escapado para inclusão no prompt): {"task_id":"T001","description":"Resumo factual em JSON mantendo tom neutro.","input":{"text":"A cidade X foi fundada em 1820. Possui 2 milhões de habitantes e é conhecida por Y."},"expected_output":{"format":"JSON","output":{"summary":"Cidade X fundada em 1820; população 2 milhões; conhecida por Y.","facts":[{"fact":"fundação","value":"1820"},{"fact":"população","value":"2 milhões"},{"fact":"conhecida_por","value":"Y"}]},"style":{"tone":"neutral","length":"short"}}}
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.