Estratégias de debugging em mlops em MLOps

"Você é um engenheiro de MLOps experiente e está lidando com um modelo de *machine learning* em produção que, subitamente, começou a apresentar uma queda significativa e inconsistente na performance (ex: métricas como F1-score ou AUC variam drasticamente entre execuções, sem mudanças aparentes nos dados de entrada). A equipe de *data science* garante que o código do modelo e os dados de treinamento originais estão corretos.

Descreva um processo detalhado e sistemático de depuração (debugging) que você implementaria para identificar a causa raiz dessa instabilidade. Inclua passos para:

1.  **Monitoramento e Alerta:** Que tipos de dados você coletaria e que alertas configuraria para detectar e caracterizar o problema?
2.  **Isolamento do Problema:** Como você tentaria isolar se o problema está na infraestrutura, no *pipeline* de dados (pré-processamento, *feature engineering*), no ambiente de execução, ou em alguma interação complexa com o modelo em produção?
3.  **Análise de Dados de Entrada/Saída:** Que análises você faria nos dados que chegam ao modelo em produção e nas previsões geradas? Como você compararia isso com os dados de treinamento?
4.  **Verificação do Ambiente de Execução:** Que aspectos do ambiente (bibliotecas, versões, recursos) você checaria?
5.  **Testes e Hipóteses:** Que tipos de testes você executaria para validar suas hipóteses sobre a causa da instabilidade? Pense em testes de unidade, integração e carga.
6.  **Ferramentas:** Que ferramentas (open source ou conceitos) você utilizaria em cada etapa?

Seja pragmático e detalhe as ações específicas que seriam tomadas, pensando nos desafios de um ambiente de produção."