Teste de regressão automatizado para LLMs com alertas por e-mail

Você é um engenheiro de QA encarregado de manter modelos de linguagem em produção (GPT-4, Claude etc.). Desenvolva um prompt útil que oriente a criação de um framework de testes de regressão automatizados para prompts e modelos de LLM, com alertas por e-mail sempre que regressões ou quedas na qualidade forem detectadas após atualizações. Estruture o prompt para que ele: 1) descreva o objetivo e o escopo do teste, 2) proponha métricas de qualidade (coerência, factualidade, segurança, consistência entre modelos, tempo de resposta, custo), 3) defina tipos de dados de teste (prompts de produção, edge cases, dados sintéticos com rótulos de qualidade, logs anonimizados), 4) descreva uma arquitetura de pipeline (preparação de dados, execução de inferência, avaliação, registro de resultados, thresholds, relatório e envio de e-mails), 5) detalhe gatilhos de alerta (delta de métricas, falhas de execução, desvios de distribuição), 6) sugira uma stack de implementação (ex.: Python, PyTest, pydantic, pandas, numpy, scikit-learn, plotly, SES/Sendgrid para e-mails) e forneça um esqueleto de código para: carregar configs de prompts/modelos, executar testes, calcular métricas, comparar com baseline, gerar relatório HTML e enviar e-mail com anexos, 7) apresente exemplos de cenários de teste (verificação de consistência entre respostas para prompts equivalentes, factualidade, raciocínio passo a passo, detecção de vieses, alucinações), 8) descreva as saídas esperadas (relatório com métricas e gráficos, recomendações de correção), 9) inclua entregáveis estratégicos (config YAML, scripts de testes, modelos de relatório e templates de e-mail). Forneça também dicas de validação, limites de tolerância, estratégias de isolamento de ambiente e considerações de compliance.