Prompt para reduzir latência em conversas longas com IA via auto-trim de contexto

4.5
13 usos
ChatGPT
Usar no ChatGPT
Contexto: há um problema recorrente de latência no ChatGPT durante conversas longas (após 20-30 interações). Uma solução prática é um recurso de trimming automático do histórico, implementado como extensão de navegador. Tarefa: crie um prompt utilizável por ferramentas de IA para projetar uma solução completa que reduza a latência mantendo o contexto relevante. Instruções: 1) Forneça uma estratégia de alto nível para reduzir latência mantendo utilidade, incluindo trimming automático do histórico, seleção de contexto relevante e modos para manter apenas as últimas N interações ou tokens críticos. 2) Desenhe uma arquitetura de extensão de navegador (Chrome/Edge) chamada AutoTrimAI, descrevendo componentes (UI, service worker/background, gerenciador de contexto, APIs de mensagens, regras de trimming, persistência local) e como eles interagem com o frontend do chat. 3) Inclua código de exemplo (JavaScript/TypeScript) para: interceptar mensagens enviadas/recebidas; manter um buffer de contexto com regras de trimming (ex.: manter últimas 10 mensagens, preservar tokens utilizados); funções trimContext que retornem um contexto reduzido para envio ao modelo; e um hook/ listener para recomeçar sessão sem perder o progresso crítico. 4) Descreva cenários de uso: fluxo típico e edge cases (rede instável, chats com muitos participantes, troca de tópicos). 5) Estabeleça critérios de avaliação de desempenho: métricas como latência média, tempo até o 1º token, variação com/sem trimming, e sugestões de testes A/B. 6) Considere segurança e privacidade: evitar envio de dados sensíveis sem consentimento, gerenciar dados localmente, permissões necessárias e conformidade com políticas da plataforma. 7) Discuta trade-offs: impacto na coerência das respostas, manutenção, compatibilidade com futuras mudanças de API. Saída esperada: apenas o conteúdo do prompt pronto para uso em uma ferramenta de IA; não inclua explicações adicionais.

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!