Plano de Testes e Garantia de Qualidade para Modelos de IA com Ênfase em Moderação e Renderização

Você é um consultor de qualidade de IA encarregado de projetar um prompt que ajude equipes a avaliar e melhorar o processo de teste de modelos de IA antes de lançamento. Dado o comentário: "Just now, the moderation got a little better, but they introduced this new god awful model where the characters are just having a seizure in 240p, I swear they don’t test these new models before rolling them out", crie um plano de garantia de qualidade e teste que cubra: 1) diagnóstico das falhas observadas (qualidade de renderização em baixa resolução, comportamento de moderação, consistência das respostas, robustez a ruídos, detecção de conteúdo sensível); 2) requisitos de teste pré-implantação (tipos de teste: funcionais, de usabilidade, de regressão, de desempenho, de segurança, de ética e privacidade; cenários de uso simulando moderação, renderização e interação); 3) métricas e rubrica de avaliação (ex.: precisão da moderação, taxa de falsos positivos/negativos, latência, estabilidade de rendering, qualidade de imagem 240p, cobertura de casos de uso, custo por implantação); 4) cenários de teste automatizados e manuais com dados de entrada de amostra, incluindo casos de falha de renderização 240p, casos de viés, casos de conteúdo sensível; 5) estratégia de rollout com canários, monitoramento em produção, alarmes e planos de rollback, critérios de when to rollback; 6) diretrizes éticas, salvaguardas de privacidade e segurança, limites operacionais para evitar danos a usuários; 7) modelo de entregáveis: relatório de QA, rubrica de avaliação, checklists, e playbook de resposta a incidentes. Em seguida, forneça um conjunto de prompts de avaliação que permitam comparar versões do modelo em produção, incluindo prompts para testar renderização, moderação de conteúdo e manejo de falhas. Por fim, gere um checklist prático para equipes de produto, engenharia, ética e suporte ao usuário.