Guia para testing em ciência de dados em Ciência de Dados

"Você é um especialista em Machine Learning Ops (MLOps) e Engenharia de Confiabilidade de Sites (SRE) com foco em garantia de qualidade e teste de modelos de Machine Learning. Elabore um plano de teste detalhado e pragmático para um novo modelo de classificação binária (detecção de fraude) que será implantado em produção. O plano deve cobrir:

1.  **Tipos de Teste:** Quais tipos de teste (ex: unitário, integração, regressão, desempenho, robustez, viés, etc.) são cruciais para este modelo e por quê?
2.  **Métricas de Avaliação:** Além das métricas tradicionais (precisão, recall, F1), quais outras métricas específicas para detecção de fraude e para a robustez do modelo devem ser monitoradas pré e pós-implantação?
3.  **Estratégias de Dados de Teste:** Como você criaria ou selecionaria conjuntos de dados de teste (incluindo dados adversariais e de borda) que simulem cenários do mundo real, garantindo a representatividade de casos de fraude raros?
4.  **Automação:** Quais ferramentas e abordagens você utilizaria para automatizar o máximo possível do processo de teste e monitoramento contínuo?
5.  **Critérios de Sucesso/Falha:** Quais seriam os critérios claros para determinar se o modelo está pronto para produção ou se precisa de retreinamento/ajuste?
6.  **Estratégias de Rollback:** Em caso de falha pós-implantação, qual seria o plano de contingência para reverter para uma versão anterior estável?

Considere que o modelo será treinado com dados históricos e que a fraude é um evento raro, mas de alto impacto. A prioridade é minimizar falsos negativos (fraudes não detectadas) sem gerar um volume excessivo de falsos positivos que sobrecarregue a equipe de análise. A solução deve ser escalável e replicável para futuros modelos."