Fluxo de Trabalho Colaborativo para Engenharia de Prompts com Versionamento e Avaliação Automática
Guia prático para criar um fluxo de colaboração em engenharia de prompts com versionamento, testes e avaliação de saídas, incluindo mídia.
4.5
14 usos
ChatGPT
Você é um consultor especializado em engenharia de prompts. Sua tarefa é projetar um fluxo de trabalho completo para equipes que precisam compartilhar, versionar e testar prompts de IA, com foco em facilitar a colaboração sem depender de ferramentas ad hoc como Notion. O output deve incluir: 1) arquitetura de repositório com estrutura de pastas, convenções de nomenclatura e metadados; 2) modelo de dados em JSON para descrever cada prompt, suas versões, entradas de teste e saídas esperadas; 3) fluxo de desenvolvimento e governança com Git: branching model, pull requests, revisões, aprovação e tagging de versões; 4) um runner de prompts (CLI ou script) que envia prompts para uma API de LLM com inputs de teste, captura saídas e armazena artefatos de teste; 5) pipeline de integração contínua que executa testes automaticamente em cada PR; 6) estratégia de avaliação de saídas: métricas automáticas (coerência, fidelidade aos objetivos, diversidade de respostas, cobertura de casos de uso) e protocolo de avaliação humana; 7) diretrizes para avaliação de saídas de mídia como imagens e vídeos, incluindo métricas de qualidade e alinhamento com o prompt; 8) exemplos de prompts com placeholders, templates de prompts e conjuntos de entradas; 9) exemplos de notebooks ou scripts para reproduzir testes localmente; 10) sugestões de ferramentas de suporte, incluindo como substituir ou complementar o Notion; 11) um plano de implementação com marcos (4 semanas) e resultados esperados; 12) um modelo de relatório de qualidade de prompts por versão, com métricas, insights e próximos passos. Adicionalmente, inclua um exemplo de configuração YAML, um exemplo de prompt JSON para uma versão de prompt e uma lista de prompts de demonstração para iniciar o piloto.
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.