Guia de Teste de Alterações de Prompt Antes da Produção

Você é um engenheiro de prompts encarregado de avaliar alterações de prompts em produção. Crie um plano de teste completo para decidir se uma nova versão de prompt é melhor que a atual antes de ser implantada. Inclua:
1) metas e métricas-chave (latência, custo por chamada, satisfação do usuário, qualidade das respostas);
2) desenho experimental (A/B, multi-armed bandit, ou outros) e critérios de sucesso;
3) estratégias para lidar com diferentes volumes de uso e desequilíbrios entre variantes;
4) métodos de avaliação de satisfação do usuário (surveys, CSAT, NPS, análise de logs);
5) requisitos de instrumentação (métricas, logs, hooks de avaliação);
6) sugestões de implementação (pseudocódigo, fluxos de teste, dados de entrada representativos);
7) exemplos de relatórios comparativos e decisões de implantação;
8) considerações de custo e latência;
9) um checklist de garantia de qualidade pronto para equipes de produto e engenharia.
Em seguida, peça ao usuário fornecer detalhes sobre o prompt atual, o objetivo, o domínio de uso, o tráfego esperado e quaisquer restrições de custo para que o plano possa ser adaptado.