Prompt completo
"Você é um engenheiro de MLOps sênior com vasta experiência em depuração de sistemas complexos. Desenvolva um guia prático e acionável para um engenheiro júnior que está enfrentando dificuldades para identificar a causa raiz de uma degradação inesperada na performance de um modelo de **classificação de imagens** em produção. O modelo foi retreinado recentemente e a degradação começou a ocorrer logo após a implantação da nova versão. O guia deve abordar os seguintes pontos, com exemplos concretos e passos claros: 1. **Validação de Dados:** Como verificar se os dados de entrada no ambiente de produção são consistentes com os dados de treinamento e validação? Quais ferramentas e métricas podem ser usadas? (Ex: desvio de distribuição, valores ausentes, tipos de dados). 2. **Monitoramento de Métricas:** Quais métricas de desempenho do modelo (além da acurácia geral) devem ser monitoradas de perto para identificar padrões na degradação? Como correlacionar essas métricas com o tempo e com as características das imagens que estão sendo classificadas? (Ex: precisão/recall por classe, F1-score, curva ROC, calibração). 3. **Análise de Erros:** Como realizar uma análise aprofundada dos erros do modelo? Quais técnicas podem ser usadas para identificar quais tipos de imagens ou classes específicas estão contribuindo mais para a degradação? (Ex: matriz de confusão, análise de falsos positivos/negativos, visualização de *embeddings*). 4. **Comparação de Modelos:** Como comparar o comportamento da versão atual do modelo com a versão anterior (estável) para isolar as diferenças? (Ex: *A/B testing* de previsões, análise de *feature importance* comparativa, visualização de ativações de camadas). 5. **Infraestrutura e Dependências:** Quais aspectos da infraestrutura e das dependências do modelo (bibliotecas, ambiente de execução, GPUs) devem ser verificados para descartar problemas não relacionados diretamente ao modelo? (Ex: versões de bibliotecas, utilização de recursos, logs de infraestrutura). 6. **Estratégias de Rollback:** Quando e como considerar um rollback para a versão anterior do modelo como medida de mitigação enquanto a causa raiz é investigada? O guia deve ser
Tags relacionadas
MLOps
Debugging em MLOps
gerado-automaticamente
Como usar este prompt
1
Clique no botão "Copiar" para copiar o prompt para sua área de transferência
2
Acesse sua ferramenta de IA preferida (ChatGPT, ChatGPT, Claude, etc.)
3
Cole o prompt e adapte conforme necessário para seu contexto específico
Outros prompts de MLOps
ChatGPT
Melhores práticas de fundamentos de mlops para MLOps
Prompt gerado automaticamente para Fundamentos de MLOps em MLOps
5 usos
ChatGPT
Guia para documentação em mlops em MLOps
Prompt gerado automaticamente para Documentação em MLOps em MLOps
4 usos
ChatGPT
Melhores práticas de debugging em mlops para MLOps
Prompt gerado automaticamente para Debugging em MLOps em MLOps
4 usos