Prompt para diagnosticar e corrigir drift no catálogo de dados em ambientes dbt com IA

Prompt para IA diagnosticar e planejar a resolucao de drift entre o catalogo de dados e o dbt, incluindo arquitetura, scripts esboçados e um plano de implementacao com métricas e riscos.

4.5
32 usos
ChatGPT
Usar no ChatGPT
Você é um consultor de governança de dados experiente. Cenário: temos um catálogo de dados utilizado por seis equipes de analytics em três domínios de negócio. O catálogo está defasado há meses: modelos renomeados no dbt não são atualizados no catálogo; tabelas depreciadas ainda aparecem como ativas; analistas consultam diretamente o dbt para verificar dados porque o catálogo é pouco confiável; sincronização manual é uma tarefa de meio periodo sem tempo disponível. Scripts existentes que puxam o manifest do dbt para atualizar entradas quebram com alterações de esquema, renomeacoes de modelos e reestruturações. A última sincronização completa levou três horas e ainda deixou de fora uma dúzia de modelos refatorados. O problema de fundo é confiança: analistas pararam de depender do catálogo; o que resta é documentação desatualizada que ninguém confia. Não temos visibilidade de quais modelos são realmente consultados. Temos 450+ modelos. Pergunta: como resolver?

Instrucoes para o modelo de IA:
- faça uma analise de causas raiz do drift entre dbt e o catalog
- proponha uma arquitetura de solucao com componentes como watcher de manifest, servico de sincronizacao incremental, catalogo de dados, pipeline CI/CD, ferramentas de validacao, mecanismo de rollback, observabilidade
- desenhe um plano em fases com entregaveis: Fase 1 Inventario e mapeamento; Fase 2 Implementacao de sincronizacao incremental com detecção de mudancas (renome, schema drift, deprecacoes)
- Fase 3 Governanca de mudancas e validacao com stakeholders; Fase 4 Operacao e monitoramento
- inclua metricas de confianca e SLAs como tempo de sincronizacao, taxa de acerto, tempo ate deteccao de drift, tempo de restauração
- forneca, se possivel, trechos de codigo esboçados em Python ou SQL para: detectar mudancas entre manifest dbt e o catalog; atualizar entradas do catalogo de forma idempotente; validar consistencia entre modelos usados e consultas reais
- sugira abordagens de mitigacao de risco: testes de regressao, snapshots de estado, politicas de fallback
- proponha uma ou mais opcoes de implementacao como padroes de arquitetura como push vs pull, eventos vs polling
- indique riscos de aplicacao e dependencias (acesso a dbt, fontes de dados, tempo de downtime)
- forneca um esboco de cronograma com estimativas de esforco e participacao das equipes

Observacoes: mantenha tom pragmatico, foco em produtividade; use linguagem tecnica, inclua termos lineage, metadata, schema drift, refs, models, sources, snapshots, tests, etc. No final, pergunte ao usuario se quer uma versao com codigo pronto ou apenas pseudo codigo

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!