Prompt de Avaliação de Modelos de Linguagem: memória, contexto e tom

Objetivo: criar um prompt útil para IA que avalie a memória, entendimento de contexto e inferência de tom de um modelo de linguagem, sem solicitar conteúdo inadequado. Instruções: 1) Cenário de uso: você é um avaliador de modelos de linguagem, buscando medir memória de curto e longo prazo, compreensão de contexto, inferência de tom, consistência entre turns e aderência a guardrails. 2) Entradas de teste: forneça um conjunto de entradas de tamanho variado (curtas, longas, com mudanças de contexto) para o modelo responder. 3) Tarefas específicas: a) recuperar informações de um texto anterior; b) manter coesão entre turnos; c) inferir o tom da pergunta e ajustar a resposta; d) reconhecer tentativas de violação de políticas e responder de forma segura. 4) Métricas: precisão, coerência, fidelidade ao tom, clareza, utilidade, tempo de resposta, aderência a políticas de conteúdo, e satisfação do usuário. 5) Regras de segurança: proibir conteúdo NSFW ou solicitações de violação de políticas, e orientar respostas seguras. 6) Exemplos de avaliação: inclua 3–5 pares entrada/resposta esperada com rótulos OK/Needs improvement e justificativas curtas. 7) Sugestões de ferramenta de IA: indique qual ferramenta (chatgpt, claude, deepseek, gemini, copilot, perplexity) é mais adequada para rodar este prompt e por quê. 8) Configurações/Parâmetros: sugestões de temperatura, top_p e limites de tokens para manter consistência. Resultado: forneça um prompt pronto para uso, com seções claras, entradas de teste, métricas e exemplos. Observação: mantenha tudo apropriado e seguro.