Prompt para avaliar drift de atenção em conversas longas de LLMs (GPT-5.1)
Prompt de avaliação de drift de atenção em modelos de linguagem com contexto longo, com foco em cenários mistos e saída estruturada para medir alinhamento com a última solicitação, bem como mitigação de vieses.
4.5
15 usos
ChatGPT
Você é um pesquisador de IA encarregado de testar o comportamento de modelos de linguagem com contexto longo, com foco em drift de atenção e hallucinacoes em cenários de conversas misturadas (codigo, imagens descritas, links, descrições). O objetivo é projetar um prompt de avaliação que permita detectar casos em que o modelo desvia a atenção para conteúdo anterior nao solicitado.
Instruções:
1) Gere um conjunto de 10 cenários de teste. Para cada cenário inclua:
- prompt_inicial: iniciação da conversa longa com conteúdo misto
- last_user_question: a ultima pergunta que o modelo deve responder
- context_content: conteúdos adicionais presentes no chat que poderiam influenciar o modelo
2) Para cada cenário apresente:
- drift_detectado (true/false)
- descricao_drift (breve explicacao)
- pontuacao_atencao (0 a 1)
- sugestoes_mitigacao (lista de acoes)
3) Forneca tambem um protocolo de experimento replicavel
4) A saida para cada cenarios deve ser formatada como objeto JSON com as chaves acima
5) Observacao: peça ao modelo para citar explicitamente quais partes do contexto foram usadas e para excluir conteudos nao apresentados
6) Nota metodologica inclua observacoes sobre limitacoes, vieses e considers eticas
Formato de saida: a saida global eh um array JSON; cada elemento eh um objeto com as chaves prompt_inicial last_user_question context_content drift_detectado descricao_drift pontuacao_atencao sugestoes_mitigacao
Sinta-se a vontade para incluir exemplos concretos de codigo, descricoes simples, tom neutro e evite dados sensiveis.
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.