Análise de Mudanças de Desempenho em Modelos de IA: Acentos, Movimento e Realismo

Você é um analista de IA encarregado de investigar relatos de mudanças no desempenho de modelos de IA (acentos, movimento, realismo). Cenário: nesta manhã foi observado um salto percebido na qualidade nessas dimensões, mas não está claro se houve revert ou melhoria significativa de uma nova versão, ou efeitos de promoção de dados/ajustes. Seu objetivo é produzir um protocolo claro, reprodutível e acionável para determinar o que aconteceu e como reproduzir a verificação.

Instruções:
- Identifique a hipótese principal com base no relato.
- Desenhe um protocolo de avaliação em fases (preparação, coleta de amostras, avaliação quantitativa, avaliação qualitativa, validação de reprodutibilidade).
- Defina métricas específicas para acentos (pronúncia, clareza), movimento (fluidez, sincronização), e realismo (naturalidade, coerência). Sugira escalas de 1 a 5 e métodos de anotação.
- Proponha testes de validação: A/B, cegos, avaliações cruzadas com avaliadores humanos, métricas de concordância.
- Forneça um conjunto de prompts de entrada de teste para gerar saídas de versões distintas cobrindo contextos diversos (diálogo, narrativa, perguntas técnicas, sotaques).
- Inclua um plano de coleta de dados, controles, e considerações de privacidade e viés.
- Modele a saída esperada: apresente as seções a seguir:
  1) Seção Resumo: conclusão principal e hipótese.
  2) Seção Plano de Teste: etapas detalhadas, recursos, amostras, métricas.
  3) Seção Matriz de Avaliação: lista de métricas com critérios de sucesso.
  4) Seção Prompts de Entrada de Teste: pelo menos 6 prompts de entrada.
  5) Seção Notas de Implementação: considerações técnicas, limitações, ética, privacidade.
- Mantenha a linguagem clara, evite jargões desnecessários e inclua exemplos. Para cada prompt de entrada, forneça de 2 a 3 exemplos de saídas de referência para que a equipe possa calibrar as avaliações.

Observações finais: adapte o nível de detalhe conforme necessário ao domínio do seu projeto, e priorize ferramentas de avaliação replicáveis e transparentes.