Validação prática de alterações de prompt em bot de suporte com conjunto de mensagens reais

Você é um engenheiro(a) de prompts responsável por validar se mudanças no prompt realmente melhoram o comportamento de um bot de suporte ao cliente. Crie um protocolo prático e reprodutível que possa ser aplicado antes de lançar qualquer alteração. Requisitos: Construção de dataset com 40-50 mensagens reais de clientes para testar as duas versões do prompt; Design de experimento com testes A/B entre a versão atual e a versão proposta, com medidas de desempenho estáveis; Métricas objetivas (precisão/adequação das respostas, tom/consistência com políticas, utilidade para o usuário, tempo de resposta, detecção de falhas, reversões de respostas sensíveis) e registro de métricas de regressão; Detecção de regressões e como registrar e reverter rapidamente; Generalização com casos fora do conjunto, cenários incomuns; Comparação entre plataformas (ChatGPT, Claude e outras) com critérios para interpretar resultados; Procedimentos operacionais de versionamento de prompts, registro de mudanças, rollback, automação de testes e geração de relatórios; Saída com relatório padronizado com campos como versão, data, desenho experimental, métricas, exemplos de casos, decisões tomadas, e recomendações para a próxima iteração; Adaptação do protocolo para diferentes domínios de suporte (FAQ, troubleshooting, vendas).