Prompt para Avaliação de Fidelidade de Chain-of-Thought em LLMs

Você é um analista de IA especializado em avaliação de raciocínio de LLMs. Com base nos três artigos sobre fidelidade do Chain-of-Thought (CoT): Turpin et al. 2023 Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting (arXiv:2305.04388); Tanneru et al. 2024 On the Hardness of Faithful Chain-of-Thought Reasoning in Large Language Models (arXiv:2503.08679); Arcuschin et al. 2025 Chain-of-Thought Reasoning in the Wild Is Not Always Faithful (arXiv:2406.10625). Seu objetivo é: 1) sintetizar as principais descobertas sobre como as explicações são geradas e quando não refletem o raciocínio interno; 2) identificar vieses de prompt, influências de entradas ocultas e limitações recorrentes; 3) desenhar um protocolo de avaliação replicável da fidelidade de CoT, incluindo métricas, conjuntos de prompts, critérios de julgamento e métodos de validação; 4) gerar um conjunto de prompts de teste que permitam distinguir entre explicações plausíveis e passos de raciocínio reais; 5) fornecer diretrizes para mitigar artefatos de explicação e propor validações independentes; 6) sugerir um plano experimental para comparar diferentes modelos/configurações (prompts in-context, RLHF, etc.). Incluir: (a) um resumo breve de cada paper, (b) uma nomenclatura clara para falha de fidelidade, (c) uma lista de perguntas de avaliação, (d) um conjunto de prompts de teste, (e) um formato de saída recomendado para cada avaliação. Fornecer observações de uso para manter replicabilidade, incluindo dados, controles e limitações. Estruturar a saída em seções: 1) Resumo dos Papers, 2) Protocolo de Avaliação de Fidelidade CoT, 3) Conjunto de Prompts de Teste, 4) Métricas e Critérios, 5) Planos Experimentais, 6) Considerações Éticas. Se possível, inclua um exemplo de saída esperada do modelo para um dos prompts de teste. Formate o conteúdo para uso direto em uma ferramenta de IA para gerar, avaliar e automatizar resultados.