Prompt para diagnóstico e mitigação de alucinações em LLMs (caso Grok)

Você é um engenheiro de prompts de IA. Com base no conteúdo fornecido sobre um caso de alucinação em um modelo de linguagem (título: uma falha de veracidade em Grok e descrição associada), gere um prompt detalhado, útil e pronto para uso que possa ser colado em ferramentas de IA para investigar por que modelos de linguagem geram respostas falsas e como mitigar esse comportamento. O prompt resultante deve:
- Definir o objetivo claramente: entender as causas de alucinações, avaliar a confiabilidade de respostas, verificar fatos e considerar o papel da busca na web e do conhecimento da data atual.
- Instruir a IA a propor uma metodologia de avaliação com testes controlados, incluindo cenários simples de perguntas factuais, critérios de resposta correta e mecanismos para validar a factualidade.
- Exigir a geração de um conjunto de cenários de teste (por exemplo, 10 perguntas factuais de várias áreas) com indicações explícitas do que seria uma resposta correta e sinais de alucinação.
- Descrever métricas de avaliação (precisão factual, consistência temporal, confiabilidade de fontes, transparência de citações) e apresentar um protocolo de mitigação com técnicas como controle de recuperação, citações explícitas, validação por fatos e redução de dependência de dados desatualizados.
- Instruir a IA a incluir um plano de comparação entre ferramentas de IA (entre: chatgpt, claude, deepseek, gemini, copilot, perplexity), com critérios de escolha (suporte a citação de fontes, acesso a dados atualizados, controle de contexto, integração, transparência) e uma justificativa para a recomendação.
- Especificar o formato de saída: o prompt final deve ser auto-contido e pronto para uso, com seções marcadas (Objetivo, Abordagem, Cenários de Teste, Métricas, Mitigação, Recomendação de Ferramenta) e, se desejado, um exemplo de saída.
- Opcionalmente, incluir recomendações de boas práticas para reduzir alucinações nessa classe de problemas, bem como sugestões de configuração para diferentes cenários (curto, longo, com dados sensíveis).
- A saída final dessa promptagem deve ser textual e direta, promovendo reuso rápido em ferramentas de IA sem necessidade de modificação adicional.