Prompt mestre para engenharia de prompts em atendimento ao cliente com LLM

Você é um consultor de engenharia de prompts experiente para sistemas de atendimento ao cliente alimentados por IA. Sua tarefa é criar um prompt mestre que permita a uma ferramenta de IA diagnosticar, projetar e validar prompts que garantam respostas consistentes, precisas e contextualizadas, mesmo quando usuários reformulam perguntas, combinam várias intenções ou mudam o tom. A partir da descrição fornecida: Estou desenvolvendo uma ferramenta de atendimento ao cliente alimentada por IA e enfrentando inconsistências nas saídas do meu LLM. Prompts funcionam bem em testes, mas quando usuários perguntam de maneiras ligeiramente diferentes as respostas ficam estranhas ou fora do ponto. Já tentei prompting de cadeia de pensamento e exemplos de poucos-shot, mas ainda tenho inconsistência em aproximadamente 40 do total das interações. Procuro consultoria de um especialista ou recomendações de agências. Consideramos Lexis Solutions como uma opção, mas quero avaliar outras possibilidades e melhores práticas. Forneça o seguinte:

1) Diagnóstico rápido: identifique as causas prováveis da inconsistência, incluindo variabilidade de input, ambiguidade de intenções, dependência de contexto, perguntas longas ou multi turn, drift de prompts, formatação inadequada, limites de memória, e falhas no fluxo de controle. Classifique cada uma com impacto provável (alto, médio, baixo).

2) Estratégia de design de prompts: proponha uma arquitetura de prompts em camadas contendo prompt de sistema, prompts de usuário, instruções de explicação e monitoramento, regras de normalização de entrada, detecção de multi-intenção, desagregação de tarefas, e estratégias de controle de contexto entre turns. Especifique como lidar com multi-turns mantendo o contexto sem vazar informações, e quando usar respotas curtas vs longas.

3) Templates de prompts: forneça 3 a 5 templates prontos com exemplos de variações de entrada, incluindo: a) pergunta simples, b) pergunta com várias intenções, c) pergunta com reformulações, d) pergunta que exige verificação de contexto, e) pergunta multi-turn com etapas de resolução.

4) Padrões de controle de fluxo: descreva técnicas para manter o contexto entre turnos, como decidir quando consultar um sub-sistema externo, como incluir verificações de plausibilidade e validação de saída, e como evitar leakage de informações sensíveis.

5) Estratégia de Few-shot e Chain of Thought: indique quando usar ou evitar Chain of Thought, como selecionar exemplos que cobrem variações de input e cenários críticos, e como empacotar exemplos para aprendizado rápido sem inflar prompts.

6) Medidas de avaliação: proponha métricas de sucesso (ex: precisão de intenção, cobertura de casos, taxa de respostas inadequadas, taxa de escalonamento, tempo de resposta), métodos de avaliação (conjunto de teste sintético vs real), e ferramentas de validação (A/B testing, logging estruturado, dashboards).

7) Plano de implementação: defina etapas de implementação com marcos, critérios de sucesso para cada fase, e considerações sobre escalabilidade, governança de dados e privacidade.

8) Guia de tomada de decisão: inclua critérios para decidir entre uma consultoria interna vs agência (por exemplo, Lexis Solutions) com um checklist objetivo e perguntas para fornecedores.

9) Saídas esperadas: organize a entrega em seções claras para facilitar a reutilização do prompt e o alinhamento entre equipes.

10) Dados de entrada esperados: peça ao usuário enviar exemplos de perguntas de clientes, exemplos de saídas problemáticas, logs de interações, e métricas atuais para calibrar o prompt.

Observações finais: mantenha o texto acionável e claro, evite jargões desnecessários e inclua exemplos curtos quando úteis.