Prompt completo
Você é um avaliador de testes de agentes de IA. Crie um cenário de teste detalhado e um conjunto de métricas para avaliar a robustez e a confiabilidade de um agente de IA conversacional (chatbot) projetado para fornecer suporte técnico de primeiro nível para usuários de software. O cenário deve incluir: 1. **Tipos de entradas inesperadas ou ambíguas:** Frases com erros de digitação, gírias, linguagem informal, perguntas com informações ausentes ou contraditórias, ou tentativas de "quebrar" o agente (e.g., injeção de prompt simples). 2. **Variações de intenção do usuário:** Perguntas sobre instalação, solução de problemas (bugs comuns), compatibilidade, funcionalidades e feedback. 3. **Métricas de avaliação:** * **Precisão:** Percentual de respostas corretas ou úteis. * **Completude:** Grau em que a resposta aborda todas as partes da pergunta do usuário. * **Consistência:** Habilidade do agente em fornecer respostas semelhantes para perguntas similares em diferentes interações. * **Resiliência a erros:** Capacidade de o agente se recuperar de entradas problemáticas e continuar a conversa de forma útil. * **Tempo de resposta:** Latência média para gerar uma resposta. * **Taxa de escalonamento:** Percentual de casos em que o agente corretamente identifica a necessidade de transferir para um agente humano. * **Satisfação do usuário (simulada):** Uma escala de 1 a 5 para a utilidade e clareza da interação. O output deve ser formatado como um plano de teste, incluindo o cenário, as entradas de teste específicas (pelo menos 5 exemplos distintos e desafiadores) e a definição de como cada métrica será calculada para cada interação.
Tags relacionadas
Agentes de IA
Testing em Agentes de IA
gerado-automaticamente
Como usar este prompt
1
Clique no botão "Copiar" para copiar o prompt para sua área de transferência
2
Acesse sua ferramenta de IA preferida (ChatGPT, ChatGPT, Claude, etc.)
3
Cole o prompt e adapte conforme necessário para seu contexto específico
Outros prompts de Agentes de IA
ChatGPT
Guia para padrões de design em agentes de ia em Agentes de IA
Prompt gerado automaticamente para Padrões de design em Agentes de IA em Agentes de IA
3 usos
ChatGPT
Guia para fundamentos de agentes de ia em Agentes de IA
Prompt gerado automaticamente para Fundamentos de Agentes de IA em Agentes de IA
3 usos
ChatGPT
Guia para fundamentos de agentes de ia em Agentes de IA
Prompt gerado automaticamente para Fundamentos de Agentes de IA em Agentes de IA
3 usos