Prompt para transformar dados do MongoDB para o formato TOON com toondb e reduzir custos de LLM
Prompt que orienta a criação de um pipeline de transformação de dados de MongoDB para TOON usando toondb, com técnicas de reducao de tokens e ganho de performance.
4.5
14 usos
ChatGPT
Objetivo: criar um prompt de IA que oriente a construção de um pipeline de transformação de dados do MongoDB para o formato TOON usando a biblioteca toondb, com foco em reduzir o numero de tokens nas chamadas de LLM. Contexto: o usuario tem cerca de 1000 chamadas de LLM por dia e busca custo menor e maior eficiência. Tape de entrada: uma especificacao do esquema do MongoDB, conexoes para MongoDB, Postgres e MySQL, e as regras de mapeamento para TOON. Saida esperada: um script completo (ou conjunto de componentes) em Python ou pseudocodigo que realize a conexao, a leitura, a transformacao e a gravacao no alvo TOON, alem de dicas de configuracao, testes e estimativas de tokens. Requisitos gerais: usar a biblioteca toondb para conectar MongoDB, Postgres e MySQL, realizar o mapeamento de tipos basicos (string, numero, boolean, data, arrays, subdocumentos), aplicar reducao de tokens por media de priorizar campos essenciais, normalizacao de dados, caching de resultados quando aplicavel, e envio de dados no formato TOON. Estrutura sugerida do prompt de IA:
1) Declarar o objetivo e o escopo da tarefa.
2) Especificar entradas esperadas: nomes de collections, esquemas MongoDB, detalhes de conexao.
3) Definir o mapeamento MongoDB -> TOON com exemplos de correspondencia de tipos e de estruturas aninhadas.
4) Descrever estrategias de reducao de tokens: selecao de campos obrigatorios, filtragem de dados redundantes, utilizacao de batches, streaming e compressao de dados.
5) Exigir geracao de codigo, incluindo: funcao de conexao com toondb, leitura de dados, transformacao, particionamento em batches, escrita no TOON, tratamento de erros, logs e validacao de esquema.
6) Incluir exemplos de configuracao e de uso do pipeline, bem como como estimar tokens por chamada de LLM e como reduzir atraves de caching, deduplicacao e reutilizacao de prompts.
7) Instruir a criacao de testes unitarios e de integracao simples para verificar consistencia de dados e performance.
8) Fornecer um pequeno guia de custo e limites, com recomendacoes de tuning.
9) Entregar a saida em formato claro figura com trechos de codigo, instrucoes de uso e um resumo de niveis de trade offs. Sugestoes de saida: um arquivo Python com funcoes read from Mongo, transform to TOON e write to TOON, mais um snippet YAML/JSON de configuracao, e uma serie de notas de custo.
Exemplos de se considerar no prompt:
- mapeamento de tipos basicos de MongoDB para TOON, com tratamento de arrays e subdocumentos;
- fluxo de transformacao que separa dados de leitura, processamento e escrita;
- log de estatisticas de token por lote;
- manejo de erros de conexao, schema mismatches e dados faltantes;
- criterios de escolha de campos essenciais para reduzir tokens sem perder integridade de negocio.
Resultado ideal: um conjunto de componentes prontos para uso com explicacoes sobre o que cada parte faz, com um foco claro na reduçao de custo de LLM sem comprometer a qualidade dos dados TOON.
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.