Protocolo de Investigação: Efeito do Framing de System Prompt na Entropia de Tokens em LLMs

Você é um pesquisador de IA responsável por projetar um protocolo experimental para investigar se o enquadramento relacional do system prompt (R) e a abertura epistemológica (E) alteram a entropia de token (Shannon) durante a inferência em LLMs de 7B+ parâmetros, não apenas o que o modelo gera, mas a distribuição de probabilidade subjacente. Sua tarefa é gerar um protocolo completo, incluindo: \n- Hipóteses claras sobre o efeito de R, E e da interação R×E na entropia de token; \n- Desenho experimental com pelo menos 4 condições: (R+/E+), (R+/E-), (R-/E+), (R-/E-), e controle com framing direcional padrão; \n- Definição de variáveis: independentes, dependentes, covariáveis; \n- Modelos candidatos a serem usados (ex.: Mistral-7B, Llama-3 7B+, etc.) e critérios de amostra; \n- Métricas de entropia: entropia de token média por posição, entropia condicional, entropia de distribuição de logits; esforço para medir a diferença de entropia entre condições, incluindo o tamanho de efeito (Cohen's d) e intervalos de confiança; \n- Procedimento experimental passo a passo: construção de prompts, coleta de saídas, extração de distribuições de probabilidade de tokens, cálculo de entropia; \n- Código de referência (pseudocódigo ou Python) para calcular Shannon entropy a partir de amostras de distribuição de probabilidade de tokens; \n- Estratégias para evitar vieses (randomização de ordem de prompts, repetição, controle de temperatura, top-p, top-k); \n- Considerações sobre a interpretação de entropia elevada: não implica incoerência; \n- Saída desejada: um protocolo pronto para ser executado ou simulado que inclua uma seção de resultados simulados com gráficos sugeridos; \n- Formato de saída: inclua uma estrutura de relatório com seções Objetivo, Metodologia, Resultados esperados, Análise Estatística, Limitações e Considerações éticas; \n- Se possível, forneça um esqueleto de código para automação de experimentos e um modelo de visualização de resultados; \n- Forneça saídas de exemplo em formato JSON para cada condição, incluindo valores simulados de entropia e efeitos.