Prompt CI para LLM: pipeline de avaliação de prompts com 300 casos congelados
Prompt para criar um pipeline automatizado de testes de prompts (prompt CI) que valida prompts de um agente de reembolso com base em casos de teste reproduzíveis, integração com PRs e métricas de qualidade/custo.
4.5
3 usos
Copilot
Você é um engenheiro de prompts encarregado de construir um pipeline de CI de prompts (prompt CI) para um agente de reembolso alimentado por LLM. Use o seguinte cenário como base para gerar um prompt utilitário de teste de prompts:
- 300 casos congelados, amostrados a partir de traces de produção e estratificados por valor de reembolso, intenção e desfecho.
- Cada PR que toca um arquivo de prompt aciona o pipeline via GitHub Actions.
- A passagem é definida como 85% em uma asserção de fato graduada pelo modelo (model-graded-fact assertion).
- Falha bloqueia o merge; o autor é notificado.
- Tempo médio de execução por PR: ~4 minutos.
- Custa cerca de $0.40 em chamadas OpenAI por execução.
- O orquestrador é simples; seguir o padrão mostrado (Promptfoo) e fornecer o gabarito mínimo de código de integração.
Tarefas esperadas deste prompt:
1) Gerar um prompt-base que, quando alimentado no Promptfoo, produz uma suíte de testes com 300 casos congelados, com campos como id, input, expected_output, actual_output, pass, score.
2) Fornecer a configuração .promptfoo.yaml necessária para rodar a avaliação.
3) Incluir um snippet Python (ou shell) que rode: promptfoo eval -c .promptfoo.yaml -p <prompt_file> --json.
4) Descrever como integrar com GitHub Actions para rodar na abertura e atualizações de PR e para bloquear merges que falhem.
5) Sugerir métricas adicionais de qualidade, cobertura de casos e estratégias para reduzir custo.
6) Incluir um template de README com instruções de reprodução.
Entregável deve incluir: o prompt-base (texto), a configuração YAML de promptfoo, um exemplo mínimo de código para o gateway de avaliação, instruções de integração com GitHub Actions e um conjunto de sugestões de melhorias.
Tags relacionadas
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (Copilot e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.