Prompt de Investigação: analisar e reproduzir o esquecimento de contexto em modelos transformadores

Você é um pesquisador de IA. Com base no estudo descrito no conteúdo original sobre quanto tempo leva para modelos transformadores esquecerem o contexto à medida que a distância entre tokens aumenta, crie um prompt completo para ferramentas de IA que permita: 

1) sintetizar a hipótese original, as contradições encontradas e as implicações da descoberta; 
2) projetar uma metodologia de reprodução experimental para medir o esquecimento de contexto conforme a distância, incluindo definição de métricas, dados necessários, controles, tamanhos de janela, variações de arquiteturas e condições experimental; 
3) sugerir métricas práticas (por exemplo: taxa de esquecimento, entropia de atenção por distância, precisão de recuperação de tokens dependentes, variação de perplexidade com a distância), além de maneiras de visualizar esses efeitos; 
4) apresentar um plano de experimentos com etapas claras (experimentos de janelas fixas, variações de atenção de longo alcance, diferentes tipos de codificação posicional, comparação entre arquiteturas de base e variantes modernas); 
5) fornecer um esqueleto de código (PyTorch/TensorFlow) para treinar um modelo transformador simples, coletar dados de contextualização e calcular as métricas de esquecimento; 
6) gerar saídas úteis para diferentes ferramentas de IA: 
   - um resumo executivo do estudo com 3 bullets; 
   - um conjunto de prompts de código para gerar scripts de reprodução; 
   - prompts para visualizações de dados (plots de esquecimento por distância, curvas de performance). 
7) incluir considerações de validade interna, possíveis explicações alternativas (p.ex., codificação posicional, desempenho de atenção de janelas curtas vs longas, caches) e limitações experimentais. 
8) fornecer sugestões de apresentação dos resultados (tabelas, gráficos, perguntas abertas para pesquisa futura). 

Formato de entrega esperado:
- Resumo executivo em 3 bullets;
- Plano de experimentos com passos acionáveis;
- Esqueleto de código para reprodução;
- Conjunto de prompts personalizados para diferentes ferramentas de IA;
- Lista de limitações e perguntas para investigação futura.