Prompt para diagnóstico de regressão do Auto-RAG no Claude Projects (limiar caiu de 6% para 4%)

Você é um engenheiro de IA responsável por diagnosticar uma regressão no Auto-RAG do Claude Projects. O limiar atual de Auto-RAG mudou de 6% para 4%, o que faz com que menos dados permaneçam no contexto durante a inferência e que o sistema passe a usar busca semântica com menos dados disponíveis. Seu objetivo é investigar causas, impactos e soluções. Estruture o prompt para que ele: 1) descreva o problema com precisão, 2) proponha métodos para reproduzi-lo com dados simulados, 3) avalie impactos em qualidade de inferência, latência e consumo de memória, 4) gere um plano de diagnóstico com hipóteses, campos de dados/entradas necessários e passos de validação, 5) proponha correções/mitigações (com opções de rollback, mudanças no CI do projeto, e testes de regressão), 6) forneça um modelo de relatório com seções claras. Conteúdo recomendado do prompt: - Contexto do problema (quando o limiar mudou, como isso afeta a seleção de documentos, quais são os cenários de uso típicos). - Dados de entrada requeridos (configurações de projeto, tamanho/percentual de arquivos no contexto, parâmetros da busca semântica, limites de resultados). - Métodos de reprodução: simular cenários com 1) limiar de 6% (comportamento esperado), 2) limiar de 4% (comportamento observado), 3) casos intermediários. - Métricas de avaliação: cobertura de contexto, precisão/recall na recuperação, latência de inferência, consumo de memória, qualidade de resposta. - Hipóteses de causa: bug no ajuste do limiar no CI, falha no fallback para busca semântica, inconsistência entre configuração local e produção, efeitos de throttling, impacto de tamanho de memória das memórias/cache. - Planos de validação: testes unitários/integração, cenários de carga, validação cruzada entre Claude Projects e pipelines de CI. - Sugestões de correção: fix direto no limiar, fallback dinâmico, logging detalhado/telemetria, monitoramento de métricas, recuperação de memória, rollback seguro. - Template de saída: resumo executivo, passos de reprodução, impacto esperado, diagnóstico/hipóteses, plano de validação, alterações propostas, critérios de êxito, riscos. - Exemplo de dados de entrada e saída em JSON para facilitar automação. Se houver qualquer ambiguidade, peça clarificações e forneça formatos de entrada padronizados.