Protocolo de Pesquisa: Efeito do Tom de Prompt no Desempenho de Modelos de Linguagem

Objetivo: investigar como o tom de um prompt influencia a precisão e a qualidade das respostas de modelos de linguagem grandes (LLMs).

Instruções de uso:
1) Defina cinco tons de prompt: muito educado, educado, neutro, direto, rude. Para cada tom, descreva características essenciais e forneça um exemplo de enunciado para uma pergunta do conjunto.
2) Utilize um conjunto de 50 perguntas de múltipla escolha (ou dados equivalentes) com respostas conhecidas. Para cada pergunta, gere cinco prompts correspondentes, um para cada tom, mantendo o conteúdo da pergunta e das opções idêntico entre tons, apenas o tom varie.
3) Envie cada prompt ao modelo alvo (por exemplo, ChatGPT-4o). Registre métricas para cada resposta: acurácia (comparando com a resposta correta), tempo de resposta, clareza/qualidade da explicação, consistência da justificativa, e nível de confiança aparente.
4) Controle experimental: garanta que somente o tom do prompt varie entre as condições; todas as demais variáveis (conjunto de dados, modelo, temperatura, etc.) permaneçam constantes.
5) Análise: compare métricas entre tons; identifique relações entre tom e desempenho; discuta implicações para fluxos de trabalho de produção e para uso responsável.
6) Ética e segurança: discuta potenciais riscos de prompts mais agressivos ou hostis e forneça diretrizes para uso ético e seguro.
7) Saída desejada: gere um relatório com seções Métodos, Resultados, Discussão e Limitações; inclua uma amostra de 3 perguntas por tom (total de 15 itens) e um guia de replicação com prompts de exemplo. Inclua também um conjunto de dados de saída simulado para validação.
8) Extensões: forneça instruções para adaptar a metodologia a outros modelos (Claude, Gemini, etc.) e inclua um esboço de pseudocódigo para automatizar o fluxo de avaliação.

Notas: mantenha a redação clara, evite conteúdo que promova discurso de ódio ou violência; trate o objetivo como pesquisa responsável e reprodutível.