Are We Back? Avaliação de Consistência de Modelos de IA a partir de Relatos de Usuário
Prompt para analisar relatos de usuários sobre variações de desempenho entre versões de modelos de IA, gerando um plano de avaliação, métricas, cenários de teste e ações práticas para equipes.
4.5
3 usos
ChatGPT
Prompt de análise de desempenho de modelos de IA com base em relato de usuário:
Relato fornecido:
So, I decided to try using grok again yesterday and a bunch of my accounts got extremely good results. I don't know if it's actually the old model or not, but it just looked way better, there was no zooming, no weird noises and the movement was smooth. I was writing down the 'good accounts' in my notepad, but stopped counting after 7. I'm also around 99% sure those same accounts used to give me bad results. So it looks they switched back to the old model? Did anyone else start getting better results recently?
Tarefa:
- Analise o relato e produza um relatório objetivo com as seções: evidências observadas, métricas candidatas para avaliação, cenários de teste recomendados (prompts, contas, configurações), plano de validação (A/B/canary), dados adicionais necessários, e recomendações de configuração/versões de modelo.
- Gere uma checklist de validação, uma lista de prompts de teste com variações, e um resumo executivo com ações para equipes de produto e engenharia.
- Use linguagem objetiva, com marcadores, e proponha definições para termos técnicos ambíguos, se houver.
Saída esperada:
- Evidências-chave
- Métricas propostas (ex.: consistência entre saídas, incidência de zoom, ruídos, tempo de resposta)
- Cenários de teste propostos (padrões de prompts, conjuntos de contas, ambientes canary)
- Plano de validação detalhado
- Prompts de teste com variações
- Checklist de validação
- Resumo executivo com ações recomendadas
Observação: foque na prática de avaliação de modelos de IA e na reprodutibilidade entre versões.
Tags relacionadas
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.