Prompt para benchmark de instruções entre modelos de IA com 10 modelos e 4 formatos

Objetivo: criar e executar um benchmark determinístico para avaliar instruções seguidas por 10 modelos de linguagem diferentes, comparando prompts entre eles em 4 formatos de instrução. Requisitos: 1) determinístico: usar seed fixo e dados de entrada fixos; 2) BYOK: traga seus próprios dados de instrução e prompts; 3) aplicar o mesmo conjunto de prompts nos 10 modelos; 4) formatos de prompt incluem: texto simples, JSON, YAML e um formato de instrução estruturado; 5) métricas de avaliação: fidelidade à instrução, completude, consistência entre formatos, robustez a reformulações; 6) registrar resultados em uma tabela com colunas: modelo, formato, prompt_id, qualidade da instrução, latência, tamanho da saída; 7) gerar relatório com gráficos, recomendações e observações; 8) saída solicitada: JSON e CSV; 9) considerar privacidade e BYOK, dados de instrução não confidenciais devem ser usados com consentimento e de acordo com políticas; 10) estrutura do prompt: organize em seções Objetivo, Requisitos, Entradas, Saídas, Métodos de Avaliação, Reprodutibilidade, Formatos de Prompt; 11) forneça exemplos de prompts para modelos A, B e C e um esqueleto de código em Python para orquestrar a execução, incluindo a criação de prompts nos 4 formatos, envio aos modelos, coleta de respostas e geração das métricas. Instruções adicionais: adapte o conjunto de prompts aos modelos disponíveis, substituindo nomes dos modelos conforme necessário; inclua instruções claras para replicação, incluindo seeds e versões de modelo. Exemplo de prompts de teste devem cobrir instruções simples, instruções de raciocínio e solicitações multi-formato; não inclua dados sensíveis e preserve a privacidade dos dados. Em caso de dúvida, priorize clareza, reprodutibilidade e facilidade de implementação.