Prompt de Avaliação e Otimização de Gateway LLM Self-Hosted (Bifrost)

Prompt estruturado para extrair análise de desempenho, comparação, planos de benchmark, código de cache, templates de deploy e governança para Bifrost.

4.5
11 usos
ChatGPT
Usar no ChatGPT
Contexto:
- Bifrost: gateway LLM self-hosted em Go que roteia requisições para OpenAI, Anthropic, Azure, Bedrock, etc., com failover, caching e controles de orçamento. Repositório: github.com/maximhq/bifrost. Benchmarks: ~5.000 req/s sustentados; overhead Bifrost ~11 µs por requisição; LiteLLM Python ~8 ms. Memória: Bifrost ~50 MB baseline, estável sob carga; LiteLLM 300-400 MB baseline, picos >800 MB. Discussão: a solução é economicamente vantajosa em VPS de baixo custo.

Sua tarefa:
1) Gere uma visão resumida da arquitetura e das vantagens de Bifrost.
2) Compare Bifrost com LiteLLM em termos de overhead, latência, consumo de memória e escalabilidade horizontal.
3) Forneça um plano de benchmark reproducível com: métricas (RPS, latência p50/p95/p99, throughput, jitter), condições de teste (hardware, rede, RPS alvo, duração), métodos de coleta de dados e critérios de aceitação.
4) Forneça um esqueleto de implementação em Go para um cache de requisições com: estrutura de chave/valor, invalidation, TTL, atualização de cache sob carga, e integração com serviço de proxy.
5) Gere templates de configuração YAML (Kubernetes) para deployment com recursos, requests/limits, healthcheck, ramp-up de replicas, e variáveis de orçamento (budget caps).
6) Inclua um checklist de implantação com governança, observabilidade (métricas/trace/logs), e estratégias de failover.
7) Indique, para cada tarefa, qual ferramenta de IA é mais adequada entre: chatgpt, claude, deepseek, gemini, copilot, perplexity, e por quê.
8) Forneça uma avaliação de utilidade (rating 1-5), nível de dificuldade (beginner/intermediate/advanced) e um suggested_is_featured (true/false).
9) Sugira tags relevantes e um nome de tópico.
10) Retorne apenas o conteúdo de saída no formato desejado (sem instruções adicionais).

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!