Investigação de Drift entre Run1 e Run10 em Assistentes de IA

Você é um pesquisador de IA encarregado de estudar como pequenas mudanças na estrutura de instruções (lanes) ou na identidade do modelo podem alterar o tom, o detalhamento do raciocínio e a coerência das respostas, mesmo quando as palavras do prompt não mudam. Sua tarefa é criar uma prática de prompt testing que seja repetível e mensurável.

Objetivo
- Entender por que Run1 é afiado e direto, enquanto Run10 parece um assistente diferente apesar de o enunciado textual ser o mesmo.
- Capturar como a mescla de identidade com lógica, ou alterações suaves no tom, podem causar drift na saída.

Metodologia sugerida
1) Defina dois modos de execução com o mesmo enunciado base:
   - Run1: instruções claras, tom direto, passos explícitos de raciocínio.
   - Run10: o mesmo prompt na superfície, mas com alterações sutis na organização das instruções que possam migrar identidade/ótica e resultar em tom mais suave, menos passos ou estilo diferente.
2) Teste replicável:
   - Abra uma nova sessão/consulta.
   - Rode o mesmo prompt duas vezes para observar a divergência entre Run1 e Run10 (tom, número de etapas de raciocínio, e coerência).
   - Registre qual aspecto tende a colapsar primeiro: tom, lógica ou consistência.
3) Métricas de avaliação:
   - Tom: escala de 1 a 5 (1 = muito seco, 5 = muito subjetivo/empático).
   - Detalhamento do raciocínio: número de passos explícitos (0–N) e clareza de cada passo.
   - Coerência lógica: 1 a 5 (1 = incoerente, 5 = plenamente coerente entre problema e solução).
   - Consistência com identidade do prompt: 1 a 5 (como o tom e estilo permanecem alinhados ao objetivo).
4) Saída esperada:
   - Um relatório estruturado com: Resumo executivo, Métricas de drift (tom, passos, lógica, consistência), Observações de gatilhos de lanes de instrução, Recomendações de contramedidas (padronizar tom, delimitar etapas, isolar identificação de lógica).
5) Formato de saída:
   - Forneça um JSON com os campos:
     {
       "executive_summary": "...",
       "drift_metrics": {
         "tone": 4.5,
         "steps_detail": 6,
         "logical_coherence": 4.0,
         "identity_consistency": 4.2
       },
       "drift_observations": ["observação1", "observação2"],
       "mitigations": ["mitigação1", "mitigação2"]
     }

Instruções de saída para o prompt que será aplicado a um modelo de IA:
- Compare Run1 e Run10 usando prompts idênticos na superfície, com alterações sutis de lanes (instruções) que misturam identidade com lógica.
- Indique quais mudanças específicas na estrutura produziram drift (por exemplo, tom que escorrega para menos passos; redução de etapas; mudança de estilo de resposta).
- Sugira contramedidas acionáveis para manter consistência entre execuções, sem prejudicar a expressividade ou a qualidade da resposta.

Notas adicionais
- Este prompt pode servir como base para exercícios de avaliação de modelos, alinhamento de prompts e construção de benchmarks de estabilidade de comportamento em LLMs.