GrokGPT: Prompt para testar janelas de contexto falsas e robustez de modelos

Objetivo: criar um prompt útil para ferramentas de IA que analise o conteúdo intitulado 'GrokGPT and the Fake Context Window Size' e gere um protocolo reproducível para avaliar a veracidade de alegações sobre janelas de contexto, além de desenhar um caminho de teste para comparar o desempenho de modelos locais vs. APIs na nuvem e indicar a ferramenta de IA mais adequada entre as opções fornecidas.

Instruções para o modelo:
1) Leia o conteúdo fornecido (título e descrição). Extraia as claims centrais relacionadas a: tamanho real da janela de contexto, eficácia de janelas grandes, uso de WebUI/local models vs cloud API, e a crítica sobre o modelo ser útil apenas para entretenimento.
2) Faça uma análise crítica das claims: quais são afirmações como verdade/mito, quais dependem de implementação (modelos, tokens, tokenizer), e quais implicam em limitações práticas para tarefas de longo prazo, memória entre turns e sine seu uso na prática.
3) Proponha um protocolo de teste reproduzível com: objetivos, cenários de teste, modelos a serem usados (local e/ou API), hardware mínimo recomendado, métricas (coerência, consistência factual, manutenção de contexto, latência), controles de variáveis (tamanho de contexto, prompt design, carga de entrada).
4) Desenhe casos de teste específicos (prompts longos, diálogos com dependências de várias turns, prompts com informações falsas ou recentemente introduzidas) para detectar falsos aumentos de janela de contexto e a presença de ilusões de memória.
5) Forneça um conjunto de prompts de teste prontos para uso (com variantes A/B) que explorem: (a) retenção de contexto em múltiplos turns, (b) recuperação de fatos de fontes internas vs externas, (c) coerência entre turns após inserir ruído/distorções no contexto.
6) Inclua um exemplo de código de referência (Python) que:
- mede o consumo de tokens via tokenizer (por ex., tiktoken);
- roda prompts com modelos locais (como Llama/ggml) ou APIs remotas;
- coleta métricas de coerência, factualidade e latência;
- fornece um meio simples de comparar tamanhos de janela simulados (por exemplo, manipulação de contexto) sem depender apenas da implementação do modelo.
7) Indique, ao final, qual ferramenta de IA entre as seguintes é mais adequada para este tipo de análise, com justificativa clara: chatgpt, claude, deepseek, gemini, copilot, perplexity. Inclua critérios usados (acesso a dados, facilidade de integração, capacidade de analisar prompts, suporte a ambientes locais, custo).
8) Defina um rating (1 a 5 estrelas) e o nível de dificuldade (beginner, intermediate, advanced) para este prompt. Considere o público-alvo como engenheiros de IA e pesquisadores de prompt engineering.
9) Forneça: (a) uma tag cloud relevante; (b) um tópico sugestivo para categorização; (c) sugestões de melhoria caso o usuário deseje expandir o ensaio em etapas futuras.
10) Formate a saída de forma clara para leitura humana, com seções distintas, mas sem exigir formatação adicional além de quebras de linha.

Observação de segurança/ética: mantenha o foco técnico e evite conteúdo que incentive práticas inseguros ou antiéticas (por exemplo, tentativas de burlar proteções de modelos sem consentimento).