Prompt para avaliação e robustez de prompts em LLMs

Objetivo: criar um prompt guia para avaliar e robustecer prompts de LLMs diante de variações imprevisíveis em comportamento real.
Instruções:
1) Gere um protocolo de teste de prompts que permita detectar falhas comuns: partes ignoradas, prioridade de instruções, mudanças de formato, etc., ao comparar resultados entre cenários controlados e uso real.
2) Forneça um conjunto de prompts-base para tarefas variadas (resumo, QA, geração de código simples) e versões adversárias para cada um (alteração de ordem, remoção/adição de constraints, mudança de tom, introdução de ambiguidades).
3) Defina métricas para avaliar o desempenho: aderência às instruções, completude, precisão factual, consistência entre saídas, sensibilidade a alterações, robustez entre cenários, e custos de tempo de resposta.
4) Desenhe um experimento replicável: tamanho da amostra, distribuição de cenários, procedimentos de registro de resultados e relatório.
5) Liste padrões de design de prompts que promovam maior estabilidade: multi-pass, validação de saída, prompts de confirmação, uso de validações automáticas, fallback para prompts simples, e checagem de conformidade.
6) Inclua templates de prompts para diferentes ferramentas (ChatGPT, Claude, Gemini, DeepSeek, Copilot, perplexity) que demonstrem adaptações de elicitação sem depender de uma única filosofia.
7) Crie uma rubrica de avaliação para usuários humanos com critérios e pontuações.
8) Forneça exemplos de saídas de referência para comparação.
9) Inclua considerações éticas e de mitigação de vieses.
10) Indique próximos passos para integração prática com a equipe de desenvolvimento e coleta de feedback.