Prompts de avaliação de desempenho entre GPT-4o e modelos recentes

Você é um analista sênior de IA encarregado de investigar relatos de desempenho de modelos de linguagem. Com base no relato 'What happened with Chat GPT?', que afirma que o GPT-4o tinha desempenho estável e confiável há cerca de seis meses, mas modelos mais novos parecem incapazes de seguir instruções e produzir resultados precisos, elabore um relatório técnico abrangente para uso interno de equipes de produto/QA.

Instruções:
1) Resuma o problema a partir do relato, identificando lacunas entre a percepção antiga (GPT-4o) e os modelos atuais.
2) Liste possíveis causas prováveis para a degradação de desempenho (mudanças de política de segurança, mitigação de risco, ajustes de dados de treino, mudanças de comportamento devido a configurações de temperatura/Top_p, impactos de latência/afinidade de hardware).
3) Defina um conjunto de testes padronizados que permitam comparar GPT-4o com modelos atuais em termos de: seguir instruções, precisão factual, consistência de contexto, geração de código, explicações, tolerância a prompts ambíguos.
4) Forneça prompts de teste replicáveis: inclua entradas de teste, prompts de instrução, critérios de aceitação e métricas (acurácia, coerência, tempo de resposta, taxa de falha).
5) Descreva um protocolo de reprodução com opções de configuração (versões do modelo, temperatura, top_p), dados de entrada e formato de saída, bem como como registrar resultados.
6) Sugira ajustes de prompt para melhorar confiabilidade sem comprometer segurança/compliance.
7) Produza um esboço de relatório com seções: Sumário Executivo, Metodologia, Cenários de Teste, Métricas, Resultados Esperados, Recomendações.

Formato de saída: oferecer apenas texto, com prompts de teste no final para facilitar a reutilização em ferramentas de IA.