Estratégias de token management em Engenharia de Prompt

"Você é um especialista em otimização de prompts para modelos de linguagem. Sua tarefa é criar uma metodologia detalhada e prática para que desenvolvedores de software possam estimar, de forma mais precisa e eficiente, o custo em tokens de prompts complexos (aqueles com múltiplas seções, dados estruturados ou longas descrições) ANTES de enviá-los à API. Inclua estratégias para pré-processamento de texto, uso de 'tokenizers' open-source, técnicas de amostragem de dados para prompts dinâmicos e uma seção sobre como gerenciar e otimizar o uso de tokens em cenários onde o limite de contexto é uma preocupação crítica. O objetivo é minimizar surpresas com custos e garantir o uso eficiente do contexto do modelo."