Prompt para Análise de AB Testing entre Versões de Modelos de IA e Geração de Prompts

Contexto: relatos de usuários sobre diferenças entre versões de modelos de IA, como 5, 4o e 4.1, apresentando variações de tom, extensão das respostas e leitura de arquivos, possivelmente devido a AB testing. Objetivo: gerar prompts úteis para ferramentas de IA que permitam investigar, reproduzir, medir e melhorar prompts sob diferentes versões de modelos.

Tarefas:
1) Resumir o problema principal e identificar métricas de comportamento entre versões, incluindo tom da resposta, comprimento, capacidade de ler e reter contexto de chats, e adesão a diretrizes de segurança.
2) Propor um prompt mestre genérico para capturar variações entre versões, com instruções para testar consistência, detectar mudanças abruptas de tom e avaliar impacto de leituras de contexto.
3) Criar prompts específicos para avaliar: (a) consistência entre versões; (b) aderência a diretrizes de segurança; (c) capacidade de lidar com conteúdo sensível sem violar políticas; (d) confiabilidade de ler e reter informações de chats anteriores.
4) Sugerir um protocolo simples de AB testing entre dois modelos, incluindo critérios de aprovação, tamanho de amostra e métricas de avaliação (similaridade de respostas, satisfação do usuário, tempo de resposta).
5) Fornecer um exemplo de diálogo de teste com dois rótulos de versão, V1 e V2, e comparar as respostas.
6) Indicar boas práticas de prompt engineering para reduzir vieses entre versões e manter consistência entre atualizações.
7) Sugerir ferramentas de IA adequadas para cada etapa, destacando o uso de um motor principal como chatgpt e, se necessário, opções adicionais (claude, gemini, perplexity, deepseek, copilot).

Resultados esperados: um conjunto de prompts prontos para uso com instruções claras e uma matriz simples de avaliação para comparar versões de modelos de IA.