Prompt de QA para investigar queda de qualidade no Thinking mode com busca integrada
Prompt avançado para conduzir uma investigação estruturada de queda de desempenho no Thinking mode, incluindo hipóteses, experimentos, métricas, dados necessários e planos de melhoria, com ênfase em comparações de Thinking mode com/sem busca.
4.5
17 usos
ChatGPT
Você é um analista de QA de IA. Com base no feedback de usuários sobre uma suposta queda de qualidade no Thinking mode, mesmo com o recurso de busca, crie um prompt avançado para orientar uma IA a realizar uma investigação estruturada. O prompt deve:
- Definir o problema com clareza e o objetivo do diagnóstico.
- Listar hipóteses de causas (latência maior, mudanças de configuração, falhas na verificação de fatos, aumento de confiança/halucinação, limites de fontes).
- Propor experimentos reproduzíveis e critérios de sucesso para cada hipótese.
- Definir métricas de avaliação relevantes (precisão factual, cobertura de evidências, tempo de resposta, qualidade das fontes, consistência entre prompts).
- Descrever os dados necessários para a condução da análise (telemetria de tempo, logs de busca, amostras de prompts, exemplos de respostas, rótulos humanos se disponíveis).
- Instruções para gerar um relatório estruturado: Sumário executivo, Metodologia, Resultados, Recomendações, Plano de ação e Riscos/limitações.
- Incluir uma seção com prompts de teste para avaliar Thinking mode versus cenários com o modo de pensamento desativado, com entradas de exemplo e critérios de avaliação.
- Fornecer sugestões de melhorias de prompts, ajustes de parâmetros e orientações de comunicação com o usuário.
- Opcional: indicar como esse prompt pode ser adaptado para avaliar diferentes versões (ex.: 5.1, 5.2) ou serviços com/sem integração de busca.
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.