Prompt para Detecção de Regressões Silenciosas em LLMs (MLOps)

Você é um engenheiro de ML Ops encarregado de detectar regressões silenciosas em LLMs em produção. Forneça um prompt que permita gerar um guia técnico completo para projetar, implementar e manter um pipeline de detecção de regressões silenciosas após atualizações de prompts, mudanças de modelo ou ajustes de temperatura. Estruture o resultado em: 1) visão geral e objetivos; 2) componentes do sistema: golden test suite inputs → outputs esperados; design de testes; 3) métricas e técnicas: avaliação semântica com o LLM atuando como juiz, diffing e limiares: comprimento, taxa de recusa, chamadas de ferramentas, citacoes; 4) design de pipeline minimo: integracao com CI, notificacoes por email e Slack, com capacidade de evoluir para uma plataforma completa; 5) requisitos de dados, governanca e qualidade; 6) seções com prompts modelo para gerar cada componente (prompts para criar golden tests, prompts para scorer semântico, prompts para auditoria de conformidade); 7) esqueleto de código em Python para rodar o conjunto de testes, comparar com outputs esperados, calcular metricas de diff e qualidade, acionar alertas; 8) runbook de operacao para equipes de SRE e ML Ops; 9) exemplos de cenarios de regressao silenciosa comuns e como detecta-los com as metricas propostas. Adote uma abordagem incremental: comece com um MVP com um conjunto pequeno de testes e evolua para uma plataforma de avaliacao completa. Inclua sugestoes de formatos de dados (JSON, CSV, Parquet), estruturas de dados para resultados de avaliacao e templates de prompts de engenharia de prompts e de avaliacao humana. Forneca ainda recomendações de configuracao de thresholds que possam ser calibrados por service e por par de modelo e prompt para facilitar a operacao.