Prompt de Benchmark de Compute (Juice) entre Plataformas de IA

Prompt para criar um protocolo de benchmark de compute (juice) para comparar desempenho de IA entre diferentes plataformas, com saída estruturada (CSV/JSON) e instruções de replicabilidade.

4.5
13 usos
ChatGPT
Usar no ChatGPT
Objetivo: medir o 'juice' (poder de computação) que uma IA utiliza ao responder, comparando diferentes ambientes/plataformas. Forneça uma metodologia reproduzível para coleta de dados de desempenho entre sessões (ex.: web vs mobile). Observação: 'juice' é uma métrica não oficial, usada apenas para comparação entre plataformas.

Instruções para o assistente:
1) Defina claramente o que significa 'juice' neste prompt (tempo de resposta, tamanho da resposta em tokens, qualidade de geração e sinais de uso de recursos).
2) Ao responder, inclua:
- tempo_resposta_ms: tempo desde o envio do prompt até a resposta completa.
- tokens_saida: número de tokens gerados na resposta.
- juice_score: uma estimativa de qualidade/valor de computação (p.ex., 1 a 5, com explicação do que compõe cada nível).
- complexidade_tarefa: classify a tarefa (básica, moderada, complexa).
- observacoes: notas sobre variações entre ambientes (latência, cache, carga, etc.).

3) Protocolo de teste replicável:
- Ambientes a comparar: web, móvel, API/CLI (se aplicável).
- Configurações constantes: modelo/versão, temperatura, topo_p, etc., quando possível.
- Passos: enviar um conjunto de prompts calibrados, medir tempo e tokens, repetir N vezes por ambiente.
- Controles de ruído: registrar latência de rede, carga do serviço, e manter condições o mais estáveis possível.
- Repetições: pelo menos 5 a 10 execuções por configuração para reduzir ruído.

4) Prompts de teste calibrados (exemplos): geração de código simples, resumo técnico, explicação conceitual, raciocínio lógico, e resolução de problemas.

5) Saída sugerida: CSV e JSON agregado
- CSV: colunas ambiente, modelo, tempo_resposta_ms, tokens_saida, juice_score, notas
- JSON agregado: médias e desvios padrão por ambiente, com tamanhos de amostra.

6) Observações e limitações: a métrica não representa capacidades oficiais da plataforma; diferenças entre plataformas podem vir de fatores como rede, cache, ou alterações de UI/UX; inclua considerações éticas e de privacidade.

7) Exemplo de saída: inclua 2 linhas fictícias para ilustrar o formato.

8) Segurança e privacidade: não utilize ou exiba dados sensíveis do usuário.

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!