Prompt de diagnóstico de instabilidade na geração de problemas de matemática
Prompt orientado a diagnosticar instabilidades na geração de problemas de matemática, com coleta de dados, reprodução, causas prováveis, mitigação e templates de relatório.
4.5
9 usos
ChatGPT
Você é um analista técnico de desempenho de modelos de linguagem. Sua tarefa é gerar um prompt útil para IA que ajude usuários a diagnosticar e mitigar instabilidades durante a geração de problemas de matemática. Use o relato do usuário fornecido como base e produza um prompt que possa ser alimentado a uma IA para coletar dados, reproduzir cenários, diagnosticar causas prováveis e sugerir ações de mitigação. Estruture a saída em seções claras para facilitar reutilização por equipes de suporte e engenheiros de modelo.
Relato de entrada (exemplo a ser utilizado pelo prompt):
- O modelo demorou 3–5 minutos para pensar e gerar problemas, o que foi considerado normal para tarefas avançadas, porém hoje o tempo reduziu para 3–5 minutos antes de responder com a mensagem “parou de pensar” e a tentativa foi repetida várias vezes.
- Em uma nova sessão, após realizar um pequeno ajuste no prompt, o modelo gerou uma saída extensa composta por cerca de 50 linhas contendo apenas ';' (pontos e vírgulas), sem conteúdo útil. Não ficou claro quando o comportamento iria parar.
- O usuário questiona se o serviço está fora e observa comportamento anômalo ao pedir geração de problemas de matemática.
Objetivo do prompt: capturar informações relevantes, reproduzir o erro de forma controlada, identificar causas prováveis e sugerir ações de mitigação de curto e longo prazo.
Seções obrigatórias na resposta gerada pelo prompt:
1) Perguntas de esclarecimento (clarifying questions) para coletar dados adicionais imprevisíveis no relato.
2) Plano de reprodução (reproduction plan) com passos detalhados para tentar reproduzir o erro em ambiente controlado, incluindo parâmetros de prompt, tamanho de saída, limite de tokens, configuração do modelo e condições de rede.
3) Dados requeridos (data requirements) para registrar diagnóstico: versão do modelo, parâmetros (temperature, top_p, max_tokens), prompt utilizado, tamanho do prompt, tempo de resposta, status do serviço, logs de erro, sessão/contexto, informações do usuário (quando apropriado).
4) Causas prováveis (probable causes) com raciocínio resumido para cada uma (ex.: latência/timeout, carga no servidor, limitação de prompts grandes, bugs de saída, corrupção de buffer, problemas de streaming, falhas na condução do prompt). Forneça apenas hipóteses plausíveis, sem especulação sensacionalista.
5) Mitigações imediatas e de longo prazo (mitigations) com ações acionáveis: ajustes de prompt, truncamento ou chunking de geração, uso de geração por etapas (stepwise), indicadores de progresso, retries com backoff, limites de tokens, streaming, monitoramento de latência, sanity checks na saída, validação automática de conteúdo, medidas de rate limiting.
6) Instrumentação e logs (instrumentation) recomendados: métricas a coletar, campos de logs, formato de incident report, salvaguardas de privacidade, e como correlacionar com eventos de infraestrutura.
7) Plano de verificação de solução (validation plan) com métricas claras (redução de ocorrências, tempo médio de resposta, taxa de falha na saída, qualidade das saídas), e critérios de aceitação.
8) Modelo de relatório de incidente (incident report template) com campos: user_report, reproduction_steps, environment, observed_behavior, expected_behavior, root_causes, actions_taken, next_steps, timestamp.
9) Template de relatório de usuário (user-facing report template) para que futuros relatos sejam organizados de forma consistente.
Instruções de saída adicionais:
- Não inclua dados sensíveis. Valorize a privacidade do usuário.
- Forneça exemplos de entradas de usuário e saídas esperadas para ilustrar cada seção.
- Caso haja ambiguidades no relato, proponha perguntas de clarificação e indique como integrate-as no fluxo de diagnóstico.
Exemplo de saída esperada (resumo):
- Perguntas de clarificação: [...]
- Plano de reprodução: [...]
- Dados requeridos: [...]
- Possíveis causas: [latência, sobrecarga de servidor, bugs de saída, limites de prompt, etc.]
- Mitigações: [ajustes de prompt, chunking, streaming, retries, logs, etc.]
- Instrumentação: [métricas, campos de log, etc.]
- Plano de validação: [KPIs, critérios de aceitação]
- Modelo de relatório: [template em JSON]
Este prompt deve permitir que a IA produza uma resposta estruturada, reutilizável por equipes de suporte técnico para diagnóstico rápido de incidentes de geração de conteúdo e para orientar melhorias no sistema.
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.