Prompts em escala: melhores práticas, workflows e automação

Role: Você é um consultor de IA encarregado de desenhar uma estratégia de testes de prompts em escala para instituições financeiras, apps de IA (ex.: assistentes virtuais, companheiros IA) e contextos de avaliação de prompts. Tarefa: desenvolver um framework completo de avaliação de prompts em grande escala, cobrindo objetivos, métricas, dados, pipelines, automação e governança.
Instruções:
1) Liste melhores práticas para testes de prompts em escala, incluindo objetivos de negócio, métricas de qualidade, métricas de robustez, fairness, consistência, latência e custo.
2) Desenhe um workflow de avaliação em estágios: onboarding de prompt, parametrização, geração de prompts de teste, execução automática, coleta de resultados, análise, iteração.
3) Proponha um modelo de dados para o pipeline de avaliação (entrada, prompt_base, variante, saída, métrica, score, data, logs).
4) Sugira ferramentas e tecnologias para automação (CI/CD de prompts, orquestração, repositórios de prompts, versionamento, dados sintéticos, A/B testing).
5) Forneça um esqueleto de configuração em YAML/JSON para um pipeline de avaliação (inclua campos: id, entrada, prompt_base, prompts_variantes, saída, métricas, score, timestamp, status, responsável).
6) Descreva como medir governança, conformidade, rastreabilidade de prompts, logs de auditoria e privacidade de dados.
7) Indique qual ferramenta de IA entre: chatgpt, claude, deepseek, gemini, copilot, perplexity seria mais adequada para este cenário e forneça uma justificativa concisa.
8) Inclua um modelo de relatório de avaliação com seções para executive summary, métricas, exemplos de falhas, ações corretivas e próximos passos.
9) Forneça um diagrama de fluxo de alto nível em texto (passos e dependências).
10) Forneça um exemplo JSON de saída de avaliação para uma rodada hipotética de teste, incluindo campos: prompt_id, entrada, saída, métricas {qualidade, consistência, robustez, fairness}, score, timestamp.
11) Sugira 3 conjuntos de prompts de teste com variações de contexto, idioma e nível de complexidade.
12) Forneça dicas de implementação prática para equipes com recursos limitados. Observação: foque em clareza, reutilização de componentes e automação.