Estratégias de troubleshooting em ciência de dados em Ciência de Dados

Você é um especialista em Ciência de Dados com vasta experiência em depuração e otimização de modelos. Um colega júnior está com dificuldades para identificar a causa raiz de uma queda significativa e inesperada na performance de um modelo de classificação que está em produção há meses, sem alterações recentes no código ou nos dados de treinamento.

O modelo é um *Random Forest* treinado para prever a propensão de churn de clientes, utilizando dados transacionais e demográficos. A métrica de performance principal é a AUC-ROC, que caiu de 0.88 para 0.72 na última semana, sem erros aparentes nos logs do sistema ou na pipeline de dados. O colega já verificou a integridade dos dados de entrada (sem valores nulos ou anomalias gritantes), a versão do modelo implantado e a configuração do ambiente de produção.

Sua tarefa é elaborar um guia passo a passo, detalhado e prático, para o colega investigar e resolver este problema. O guia deve abordar as hipóteses mais prováveis para essa queda abrupta de performance em um cenário de modelo em produção estável, incluindo, mas não se limitando a:

1.  **Drift de Dados:** Como detectar e analisar diferentes tipos de drift (conceitual, de características, de covariância) que podem impactar a performance. Mencione ferramentas e técnicas específicas.
2.  **Problemas na Coleta/Engenharia de Features:** Como verificar se as features que estão chegando ao modelo em produção mantêm a mesma distribuição e significado das features usadas no treinamento.
3.  **Vieses Ocultos/Dados Adversariais:** Embora menos provável em uma queda súbita, como investigar a possibilidade de novos padrões de dados ou ataques sutis que estejam confundindo o modelo.
4.  **Problemas de Infraestrutura/Ambiente:** Recomendações para verificar configurações de runtime, bibliotecas, recursos computacionais ou interações com outros sistemas que possam estar impactando a inferência.
5.  **Análise de Erros e Resíduos:** Como aprofundar na análise dos erros do modelo para identificar padrões nos exemplos classificados incorretamente após a queda.

O guia deve ser didático, prático e focado em ações que o colega possa tomar. Inclua exemplos de comandos, gráficos ou análises que seriam úteis em cada