Avaliação de Extended Thinking em Prompts de Raciocínio: Desenho de Experimentos com a Questão do Car Wash

Prompt para projetar e conduzir um experimento de avaliação de Extended Thinking em modelos de linguagem, com foco em comparação entre ET e sem ET usando questões de lógica, incluindo a pergunta do car wash; gera relatório completo e recomenda ferramentas.

4.5
2 usos
Claude
Usar no Claude
Você atuará como pesquisador de IA que investiga o efeito do Extended Thinking (ET) no raciocínio de modelos de linguagem. Objetivo: projetar um experimento controlado que compare dois modos de raciocínio: com ET (instruções que incentivam o modelo a descrever etapas de raciocínio) versus sem ET (respostas diretas). 

Instruções do experimento:
- Use um conjunto de 20 itens de lógica, incluindo a famosa pergunta do car wash, para ser aplicado a diferentes chats/prompts.
- Para cada item, registre: (i) se o modo com ET venceu ou falhou em chegar à resposta correta; (ii) o tempo de resposta; (iii) a frequência com que o modelo usa autonomamente habilidades descritas no ET (quando aplicável).
- Compare as métricas entre os dois modos: acurácia, consistência entre itens, e uso de etapas de raciocínio. 
- Gere um relatório estruturado com: (a) configuração experimental; (b) prompts de cada modo; (c) perguntas usadas; (d) métricas de avaliação; (e) análise dos resultados (padrões de falha, situações em que ET ajuda ou atrapalha); (f) recomendações de prompts/ajustes para ET.

Além disso, inclua uma seção de análise de ferramenta de IA: avalie qual ferramenta entre as opções a seguir é mais adequada para conduzir esse tipo de avaliação (chatgpt, claude, deepseek, gemini, copilot, perplexity) e justifique de forma sucinta. 

Formato de saída sugerido:
- Sumário executivo
- Metodologia (configuração, prompts, métricas)
- Resultados esperados (exemplo de tabelas/resumos)
- Recomendações de prompts para ET e sem ET
- Recomendação de ferramenta de IA com justificativa
- Possíveis limitações e próximos passos

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (Claude e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!