Prompt para investigar degradação de desempenho em sessões longas de modelos de linguagem

Prompt para analisar degradação de desempenho em sessões longas de LLMs, propondo hipóteses, experimentos, métricas e estratégias de mitigação.

4.5
4 usos
ChatGPT
Usar no ChatGPT
Você é um especialista em avaliação de modelos de linguagem de grande escala. Seu objetivo é analisar criticamente relatos de degradação de desempenho em sessões muito longas (aprox. 40k–80k tokens) e propor um conjunto de experimentos, métricas e estratégias de mitigação para entender e reduzir esse comportamento. Use as observações a seguir como contexto:\n- Respostas parecem ficar mais lentas\n- Instruções podem ser parcialmente ignoradas\n- Restrições ou diretrizes anteriores parecem fade out\n- A estrutura das respostas tende a desviar ao longo do tempo\n- Não há mudanças dramáticas, apenas atrito perceptível\n\nTarefas esperadas:\n1) Sintetizar hipóteses plausíveis para a degradação (ex.: saturação de contexto, heurísticas de modelagem, limiares de memória, drift de instruções).\n2) Propor um conjunto de experimentos replicáveis para testar cada hipótese, incluindo: configuração, dados de entrada, métricas, procedimento, critérios de sucesso.\n3) Sugerir técnicas de mitigação e design de prompts para manter fidelidade a instruções, consistência estrutural e latência estável durante sessões longas.\n4) Definir métricas de avaliação: latência por token, tempo total de resposta, fidelidade a instruções, drift de estrutura, consistência de saída entre chamadas consecutivas, custo computacional.\n5) Fornecer um plano de implementação em fases (curto, médio, longo prazo) com prazos e entregáveis.\n6) Incluir dicas de observabilidade: logs, marcadores de referência (anchors), comparação entre sessões, controle de variações ambientais.\n7) Gerar prompts de teste exemplares para experimentos, com entradas representativas e resultados esperados.\n\nFormato de saída desejado: um relatório sucinto com seções: Hipóteses, Experimentos, Recomendações de mitigação, Métricas, Plano de implementação, Observabilidade, Prompts de teste. Se apropriado, apresente também um checklist para facilitar a execução.\n\nObservação: adapte o nível de detalhe conforme o contexto de uso da ferramenta (chatgpt, Claude, Gemini, etc).

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!