Prompt para transformar dados do MongoDB para o formato TOON com toondb e reduzir custos de LLM

Prompt que orienta a criação de um pipeline de transformação de dados de MongoDB para TOON usando toondb, com técnicas de reducao de tokens e ganho de performance.

4.5
14 usos
ChatGPT
Usar no ChatGPT
Objetivo: criar um prompt de IA que oriente a construção de um pipeline de transformação de dados do MongoDB para o formato TOON usando a biblioteca toondb, com foco em reduzir o numero de tokens nas chamadas de LLM. Contexto: o usuario tem cerca de 1000 chamadas de LLM por dia e busca custo menor e maior eficiência. Tape de entrada: uma especificacao do esquema do MongoDB, conexoes para MongoDB, Postgres e MySQL, e as regras de mapeamento para TOON. Saida esperada: um script completo (ou conjunto de componentes) em Python ou pseudocodigo que realize a conexao, a leitura, a transformacao e a gravacao no alvo TOON, alem de dicas de configuracao, testes e estimativas de tokens. Requisitos gerais: usar a biblioteca toondb para conectar MongoDB, Postgres e MySQL, realizar o mapeamento de tipos basicos (string, numero, boolean, data, arrays, subdocumentos), aplicar reducao de tokens por media de priorizar campos essenciais, normalizacao de dados, caching de resultados quando aplicavel, e envio de dados no formato TOON. Estrutura sugerida do prompt de IA: 

1) Declarar o objetivo e o escopo da tarefa. 
2) Especificar entradas esperadas: nomes de collections, esquemas MongoDB, detalhes de conexao. 
3) Definir o mapeamento MongoDB -> TOON com exemplos de correspondencia de tipos e de estruturas aninhadas. 
4) Descrever estrategias de reducao de tokens: selecao de campos obrigatorios, filtragem de dados redundantes, utilizacao de batches, streaming e compressao de dados. 
5) Exigir geracao de codigo, incluindo: funcao de conexao com toondb, leitura de dados, transformacao, particionamento em batches, escrita no TOON, tratamento de erros, logs e validacao de esquema. 
6) Incluir exemplos de configuracao e de uso do pipeline, bem como como estimar tokens por chamada de LLM e como reduzir atraves de caching, deduplicacao e reutilizacao de prompts. 
7) Instruir a criacao de testes unitarios e de integracao simples para verificar consistencia de dados e performance. 
8) Fornecer um pequeno guia de custo e limites, com recomendacoes de tuning. 
9) Entregar a saida em formato claro figura com trechos de codigo, instrucoes de uso e um resumo de niveis de trade offs. Sugestoes de saida: um arquivo Python com funcoes read from Mongo, transform to TOON e write to TOON, mais um snippet YAML/JSON de configuracao, e uma serie de notas de custo. 

Exemplos de se considerar no prompt: 
- mapeamento de tipos basicos de MongoDB para TOON, com tratamento de arrays e subdocumentos; 
- fluxo de transformacao que separa dados de leitura, processamento e escrita; 
- log de estatisticas de token por lote; 
- manejo de erros de conexao, schema mismatches e dados faltantes; 
- criterios de escolha de campos essenciais para reduzir tokens sem perder integridade de negocio. 

Resultado ideal: um conjunto de componentes prontos para uso com explicacoes sobre o que cada parte faz, com um foco claro na reduçao de custo de LLM sem comprometer a qualidade dos dados TOON.

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!