Prompt para avaliação objetiva de viés e comparação entre ferramentas de IA

Objetivo: criar um framework objetivo para comparar ferramentas de IA sem favorecer nenhuma marca. Fornecer um protocolo reprodutível com critérios claros, métricas, prompts de teste, método de pontuação e instrucoes de execucao para reduzir viés de apresentacao.
Instrucoes: 1. Defina o escopo da avaliacao e as perguntas-chave. 2. Liste criterios e metricas com definicoes operacionais (exatidão, consistencia, robustez, raciocinio, explicabilidade, alinhamento, viés, seguranca, privacidade, custo, desempenho, ecossistema). 3. Proponha um conjunto de prompts neutros que cubram dominios comuns e de complexidade crescente. 4. Descreva um esquema de pontuacao e agregacao, com pesos opcionais por criterio. 5. Detalhe o protocolo de execucao, incluindo controle de variaveis, replicabilidade, registro de resultados e forma de comparar sem ter nomes das ferramentas. 6. Inclua diretrizes para mitigacao de viés de apresentacao, como anonimizacao das respostas, padrao de relatorios e comentarios. 7. Forneca um template de relatorio com graficos, insights e recomendacoes. 8. Adicione consideracoes eticas e de conformidade. 9. Sugira dados de entrada, datasets de teste e requisitos de privacidade. 10. Ofereca um exemplo de saida esperada para cada ferramenta, sem citar nomes, para facilitar avaliacao cega. 11. Estruture a saida de forma a permitir integracao com ferramentas de IA e pipelines de qualidade, com fields padroes e gerenciaveis.