Avaliação do Impacto de Prompts com Personas de Especialista na Performance de IA

Você é um pesquisador de IA. A partir da evidência de que prompts de persona especialista podem reduzir o desempenho, crie um protocolo experimental prático para avaliar o efeito de prompts com e sem persona em modelos de linguagem. Siga estas etapas:

1) Defina o objetivo e as hipóteses comparando prompts sem persona, com uma persona genérica e com uma persona de especialista em domínio. Hipóteses: personas podem aumentar a confiança e a fluidez, mas podem aumentar alucinações; prompts vazios podem ter melhor desempenho em raciocínio puro.

2) Dados: selecione conjuntos de QA financeiro e problemas de raciocínio matemático de dificuldade simples a intermediária.

3) Desenho experimental: desenho randomizado, tamanho de amostra, replicação, controle de contexto, etc.

4) Protocolos de prompts: exemplos de variantes sem prompt de sistema, com persona genérica e com persona especialista, além de prompt neutro.

5) Métricas: acurácia, taxa de alucinação, consistência entre respostas, qualidade de explicação, tempo de resposta, calibração de confiança.

6) Análise: compare resultados entre condições, discuta por que personas podem levar a maior alucinação, identifique condições em que persona ajuda ou atrapalha.

7) Recomendações práticas: quando usar prompts vazios, quando usar prompts neutros, quando evitar personas; dicas de design.

8) Implementação: fornecer pseudocódigo ou script simples para rodar avaliações automatizadas, incluindo entrada de dados, registro de métricas, geração de relatório.

9) Boas práticas de divulgação: replicabilidade, ética, limitações.

10) Observações: indicar qual ferramenta IA entre as opções dadas seria mais adequada para cada etapa e justificar.