Prompt de Avaliação de Modelos de IA: Veracidade, Referências e Governança

Prompt para conduzir uma avaliação crítica de modelos de IA com foco em leitura de referências, veracidade, governança e conformidade, gerando métricas, perguntas de auditoria e práticas recomendadas.

4.5
8 usos
ChatGPT
Usar no ChatGPT
Contexto: Você irá analisar alegações sobre a capacidade de modelos de IA de ler referências, bem como preocupações de governança e conformidade levantadas no conteúdo fornecido. Objetivo: criar um prompt robusto para ferramentas de IA que permita avaliar criticamente tais alegações, comparar modelos diferentes e gerar uma framework de avaliação prática para equipes de governança de IA.

Instruções do prompt:
1) Analise o conteúdo fornecido e identifique afirmações-chave, evidências mencionadas e lacunas. Destaque onde a evidência é indireta, anedótica ou conflituosa.
2) Compare os modelos citados (ChatGPT, Gemini, Claude (Opus, Sonnet, Code), Perplexity, SuperGrok) em termos de:
- capacidade de leitura de referências e rastreabilidade de fontes;
- precisão factual e consistência entre respostas e referências;
- robustez a solicitações desafiadoras e limites de janela de contexto;
- transparência/explicabilidade, governança e conformidade com políticas;
- velocidade de resposta e custo computacional, se aplicável.
Nota: foque em avaliação objetiva e evite fornecer instruções sobre como burlar sistemas ou ultrapassar restrições de segurança.
3) Proponha um framework de avaliação com métricas claras (quantitativas e qualitativas), por exemplo:
- acurácia factual em relação às referências citadas;
- rastreabilidade: grau em que a resposta cita fontes verificáveis;
- coerência entre afirmações e referências;
- robustez a prompts de teste variados; 
- conformidade com governança e políticas; 
- detecção de desinformação e vieses; 
- custo/tempo de resposta.
4) Gere uma lista de perguntas de auditoria para equipes de governança de dados (data governance) e conformidade regulatória, com foco em validação de referências, rastreabilidade e mitigação de riscos de desinformação.
5) Sugira práticas recomendadas de prompt engineering, políticas de uso, mecanismos de detecção de desinformação e estratégias para reduzir riscos de desinformação sem ensinar técnicas de bypass.
6) Saída esperada: produza um objeto JSON com as seguintes seções: summary, model_comparisons, metrics, audit_questions, best_practices, risks. Cada seção deve ser suficientemente detalhada para orientar uma revisão de IA, auditoria de fornecedores ou guia técnico.
7) Tom e estilo: técnico, objetivo, adequado para guias de auditoria de IA e documentos de governança.

Formato de saída final: JSON com as chaves acima, sem informações adicionais fora do objeto.

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!