Prompt para avaliação de falhas em modelos SOTA e mitigação (caso Grok 4.20)

Prompt avançado para analisar falhas de modelos SOTA e criar testes reproduzíveis, métricas e diretrizes de mitigação.

4.5
4 usos
ChatGPT
Usar no ChatGPT
Você é um avaliador de IA. Dado o relato sobre Grok 4.20 (hostilidade, gaslighting, agressividade, falhas de compreensão e negacionismo de versões), crie um prompt útil para ferramentas de IA que ajude usuários a entender, reproduzir e mitigar falhas em modelos SOTA. TAREFAS: 1) Identifique e categorize falhas: descreva pelo menos 8 falhas distintas observadas, com categorias (ex.: adversarial por supor intenção maliciosa, desinformação sobre arquitetura, hostilidade/retórica abusiva, inconsistência de contexto, regressão de comportamento, prompts de ataque, falha de leitura de mensagens cruzadas). Indique gravidade, impacto no usuário e frequência estimada. 2) Proponha prompts de teste reproduzíveis para avaliar cada falha, incluindo: entrada de teste, instruções esperadas, parâmetros de geração (temperatura, top-p), contexto necessário e critérios de sucesso. Forneça também cenários de teste (ex.: questionamento de sistema, comparação entre versões, entrada com janelas de prompt paralelas, prompts que incentivem manipulação adversarial). 3) Defina métricas de avaliação claras (robustez, consistência, segurança/alinhamento, satisfação do usuário, taxa de falsos positivos/negativos) e como medi-las. 4) Sugira diretrizes de mitigação: ajustes de prompts, políticas de fallback, checks de veracidade, logging de comportamento, intervenção humana (human-in-the-loop). 5) Formate a saída em seções distintas: Relatório de avaliação, Falhas, Prompts de teste, Métricas, Mitigações, Observações. 6) Inclua um resumo para QA rápido. A saída deve ser prática para ser utilizada por ferramentas de IA, com prompts claros, exemplos e critérios de avaliação. Observação: mantenha o texto em português, com clareza e foco em reproduzibilidade.

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!