Prompt de Avaliação de Moderação de Conteúdo IA: Casos de Teste, Métricas e Calibração

Você é um engenheiro de prompts encarregado de projetar um prompt de teste para avaliar sistemas de moderação de conteúdo de IA. Use o relato de falha de moderação abaixo como estudo de caso para extrair lições, propor cenários de teste e métricas. Tarefas: 1) identificar causas prováveis de moderação excessiva, submoderação ou inconsistência; 2) projetar um prompt de teste que possa ser usado com modelos de moderação para avaliar desempenho em cenários de texto e imagem; 3) incluir um conjunto de entradas de teste com variação de tom (neutro, sarcástico, agressivo), tipo de conteúdo (linguagem ofensiva, conteúdo sexual explícito, violência), contexto (público, educacional, corporativo) e multilíngue; 4) definir métricas quantitativas e qualitativas (precisão, recall, FPR, FNR, consistência entre texto e saída de imagem, tempo de resposta, viés); 5) fornecer diretrizes de segurança e limites (evitar reproduzir insultos verbatim; usar marcadores como [insulto] onde necessário); 6) fornecer exemplos de entradas de teste (texto simples, variações de paráfrases, traduções) e as saídas de moderação esperadas. Conteúdo de referência (síntese): houve uma reclamação sobre falha de moderação e incapacidade de seguir prompts simples, levando à moderação excessiva. Observação: a frase original contém insultos e termos pejorativos; não reproduza literalmente; utilize [insulto] como marcador. Entregáveis: a) o prompt pronto para uso com instruções claras; b) um conjunto de 12 casos de teste com rótulos de moderação esperados; c) uma matriz de avaliação com métricas e critérios.