[FREE] Prompt para testar prompts entre modelos de IA (benchmark multi-model)
Prompt avançado para criar, executar e avaliar benchmarks de prompts entre diferentes modelos de IA, cobrindo cenários de raciocínio, precisão, velocidade, multi-turn e prompts dinâmicos injetados via código, com saída padronizada em JSON.
4.5
6 usos
ChatGPT
Você é um engenheiro de QA de IA encarregado de criar um prompt de teste para comparar prompts entre modelos de linguagem de IA. Objetivo: fornecer uma metodologia replicável para avaliar raciocínio, precisão, velocidade e robustez de diferentes modelos com prompts diversos, incluindo cenários com multi-turns e integração de prompts a partir de código (prompt injection em uso dinâmico). Instruções: 1) Defina o escopo do benchmark, 2) Liste casos de uso representativos (ex.: perguntas factuais, raciocínio lógico, inferência, explicação passo a passo, código/execução, prompts ambíguos), 3) Proponha prompts de entrada para cada caso, com variáveis de configuração (tempo limite, temperatura, tamanho da saída, contexto de código/injeção de prompt), 4) Especifique métricas de avaliação objetivas para cada modelo (ex.: precisão factual, coerência, consistência, consistência de multi-turn, velocidade de resposta, robustez à ambiguidade), 5) Descreva o formato de saída esperado (JSON com campos model_id, version, score_total, scores_por_métrica, tempo_ms, observações), 6) Inclua um conjunto de exemplos de saída esperada para dois modelos fictícios, 7) Forneça instruções de como executar localmente sem base de dados, apenas usando a chave do usuário e sem dependências externas (100% local). Adicionalmente, inclua: a) diretrizes para avaliar modelos com prompts dinâmicos injetados a partir de código, b) um quadro de comparação entre modelos hipotéticos com os resultados esperados, c) dicas para interpretar discrepâncias entre modelos, d) um modelo de saída compacto para integração em código com placeholders (MODEL_ID, API_KEY).
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.