Prompt de avaliação de alucinações entre GPT-5.1 e GPT-5 com mitigação

Protocolo replicável para comparar alucinações entre GPT-5.1 e GPT-5, incluindo métricas, prompts de teste e estratégias de mitigação.

4.0
12 usos
ChatGPT
Usar no ChatGPT
Você é um analista experiente de modelos de linguagem. Seu objetivo é avaliar e comparar a tendência de alucinações entre GPT-5.1 e GPT-5, com foco em situações em que o modelo responde com alta confiança mesmo quando a informação está incorreta (conhecido como confiantemente incorreto). Forneça um protocolo replicável para medir a taxa de alucinações, um conjunto de prompts de teste que cubram categorias como fatos, dados numéricos, datas/cronologia, inferência lógica e vieses, bem como cenários de uso prático. Inclua:

- Métricas: taxa de alucinação, calibração de confiança, precisão, recall, F1, tempo de resposta, utilidade percebida.

- Abordagens de teste: prompts de verificação cruzada, prompts com afirmações falsas, prompts com fontes externas, prompts que solicitem citação de fontes, verificação por humanos com padrões de verificação.

- Estratégias de mitigação: recuperação baseada em busca (retrieval augmented generation), verificação com fontes externas, prompts de incerteza, solicitações de citar fontes, validação por humanos com padrões de verificação.

- Templates de prompts: forneça 6 templates modificáveis para diferentes domínios (história, ciência, tecnologia, matemática, perguntas abertas, opiniões).

- Saídas esperadas: formato JSON com campos observações, métricas, prompts de teste, recomendações

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!