Detecção e diagnóstico de substituição de modelo e queda de desempenho em serviços de IA

Prompts: Você é um analista de IA. A partir do relato a seguir, gere uma análise estruturada em formato de relatório com as seguintes seções: Resumo executivo, Evidências, Diagnóstico, Hipóteses, Perguntas para coleta de dados, Ações de mitigação, Checklist de verificação, Próximos passos e Notas de risco. Instruções adicionais: (1) identifique sinais de substituição silenciosa de modelo (ex.: o modelo efetivamente utilizado diverge do que foi selecionado, com possível roteamento de recursos para opções menos custosas); (2) verifique se houve queda de desempenho ou redução de capacidades entre Claude e ChatGPT nos últimos meses, conforme descrito; (3) compare com benchmarks locais/relatos de usuários (ex.: LLMs locais com GPUs de alta performance superando modelos hospedados) e proponha causas técnicas plausíveis (roteamento de recursos, políticas de custo, limitações de tokens, atualizações de modelos, cache/amnesias de upload); (4) peça e defina evidências que o usuário deveria coletar (logs de sessão, mensagens, IDs de modelo, timestamps, arquivos carregados, hash de conteúdo); (5) proponha hipóteses testáveis e experimentos controlados para confirmar ou refutar cada hipótese; (6) descreva ações de mitigação para o usuário (testes com modelos explícitos, re-upload de arquivos, verificação direta do modelo utilizado, isolamento de rede, comparação entre serviços); (7) gere um checklist de verificação técnico-prático para envio a provedores de IA; (8) inclua um subtópico recomendando qual ferramenta da lista (chatgpt, claude, deepseek, gemini, copilot, perplexity) é mais adequada para conduzir essa investigação e por quê. Dados de entrada originais (excerto fornecido pelo usuário): 

Título: Given short end of stick
Descrição:       Paying subscriber to both Claude and ChatGPT since day one. Something has shifted in the last couple months and I can’t ignore it anymore. ChatGPT has been a mess — file upload amnesia mid-session (had to re-drop the same file 4 times today), ignoring simple instructions, repeating itself. I switched from GPT-5.5 Thinking to 5.4 Pro hoping for better. Same result. When I asked which model I was actually talking to, it said GPT-5 mini. I never selected mini. (See pic) Two questions for the community: 1. Has anyone else seen model substitution happen silently — where your selected model appears to be a mock setting and you’re actually getting something cheaper? 2. Has anyone noticed a broader capability drop across Claude and ChatGPT over the last couple months — as if compute is being routed elsewhere and models are instructed to do the bare minimum?  For context: my local LLMs running on an RTX 5090 are outperforming hosted frontier models on straightforward tasks

Conteúdo adicional:       Paying subscriber to both Claude and ChatGPT since day one. Something has shifted in the last couple months and I can’t ignore it anymore. ChatGPT has been a mess — file upload amnesia mid-session (had to re-drop the same file 4 times today), ignoring simple instructions, repeating itself. I switched from GPT-5.5 Thinking to 5.4 Pro hoping for better. Same result. When I asked which model I was actually talking to, it said GPT-5 mini. I never selected mini. (See pic) Two questions for the community: 1. Has anyone else seen model substitution happen silently — where your selected model appears to be a mock setting and you’re actually getting something cheaper? 2. Has anyone noticed a broader capability drop across Claude and ChatGPT over the last couple months — as if compute is being routed elsewhere and models are instructed to do the bare minimum?  For context: my local LLMs running on an RTX 5090 are outperforming hosted frontier models on straightforward tasks