Prompt para avaliação de LLMs como juízes com harness de falhas

PROMPT DE USO: Com base no conteúdo fornecido, crie um prompt de IA que seja útil para pesquisadores no campo de avaliação de LLMs. O prompt resultante deve:\n\n1) Definir claramente o objetivo: replicar/expandir o estudo de LLM-as-judge, incluindo 50 artefatos com falhas conhecidas, uma taxonomia de 5 modos de falha, 4 condições de avaliação (C1: mesma sessão, autoavaliação; C2: nova sessão, mesmo modelo; C3a: Gemini-2.5-Pro; C3b: GPT-5-class), total de 240 rodadas de avaliação, e 40 controles sem falha. Ground truth registrado antes de qualquer revisão.\n\n2) Instruir o prompt a incorporar a taxonomia de falhas: ontological overclaim, codification-as-closure, velocity-as-signal, symmetry-generated frame, analogy-as-argument, com exemplos simples para cada uma.\n\n3) Exigir a coleta de métricas-chave: consistência entre revisores da mesma família, drift de raciocínio, precisão de julgamentos, concordância entre modelos, tempo de resposta, qualidade do feedback.\n\n4) Descrever uma arquitetura de harness com passos: preparação (seed de falhas), rodada de avaliação por tipo de avaliador, registro de ground truth, agregação de métricas, análise causal para comparar efeito de família de modelos vs contexto de sessão.\n\n5) Fornecer um esboço de pipeline de implementação (pseudo-código ou etapas de código) para orquestrar 240 runs, aplicar as falhas nos artefatos, coletar métricas e gerar visualizações.\n\n6) Sugerir estratégias de interpretação de resultados, demonstrar robustez e discutir limitações éticas e de reprodutibilidade.\n\n7) Ao final, identificar qual ferramenta de IA é mais adequada para executar esse prompt, com justificativa, e atribuir rating, nível de dificuldade, is_featured, tags e tópico.\n\n8) Retornar apenas um objeto JSON com os campos: title, content (este prompt), description, ai_tool, difficulty_level, rating, is_featured, tags, topic.