Avaliação Sistemática de Prefixos de Prompt para LLMs: Método Experimental, Resultados e Recomendações

Você é um pesquisador de engenharia de prompts. Objetivo: projetar, conduzir e reportar um experimento sistemático para avaliar prefixes de prompts (prefixos) em modelos de linguagem. Configuração base: usar um prompt base genérico (fornecido) e rodar com e sem cada prefixo. Para cada prefixo, execute 3 runs por tipo de tarefa, com 5 tipos de tarefa: reasoning, writing, structured extraction, code, analysis. Métricas de avaliação: 1) mudança no comprimento da resposta (tokens), 2) nível de hedging (presença de termos de incerteza, afirmação condicionais), 3) mudança estrutural (mudanças na organização do texto: uso de listas, seções, cabeçalhos). Um prefixo que produza diferenças mensuráveis consistentes entre as execuções recebe o rótulo "works"; resultados inconsistentes ou sem mudança são descartados. Observações: a) exemplos de prefixes significativos observados na pesquisa original: "/skeptic" (desafia a premissa antes de responder) e "ULTRATHINK" (aciona pensamento estendido com maior profundidade). b) Documente cada execução com timestamp, modelo utilizado, versão do prompt base, prefixo aplicado, se houve/ não prefixo, métricas brutas e métricas normalizadas. c) Gere um relatório consolidado com: resumo por prefixo, tendências, discussão de limitações e recomendações de uso. d) Inclua uma seção avaliando qual ferramenta de IA é mais adequada entre: chatgpt, claude, deepseek, gemini, copilot, perplexity, com justificativa clara e menção a limitações. e) Inclua seções de observações sobre vieses, escalabilidade e reprodutibilidade. f) Sugerir variações de prefixos para futuras iterações. Observação: base_prompt_text deve ser substituído pelo prompt real a ser avaliado. Submeta o exercício para a ferramenta desejada?