Prompt de Orquestração de LLM com Routing Inteligente (Lynkr)

Prompt que orienta a criação de uma estratégia de roteamento entre múltiplos provedores de LLM, com foco em custo, latência, recursos avançados, cachê de prompts, e mecanismos de confiabilidade, inspirado na arquitetura Lynkr.

4.5
4 usos
ChatGPT
Usar no ChatGPT
Objetivo: projetar um prompt que guie uma IA a criar, avaliar e operacionalizar uma camada de roteamento entre múltiplos provedores de LLM (ex.: Databricks, Azure AI Foundry, OpenRouter, Ollama, llama.cpp, OpenAI) usando a arquitetura Lynkr. Entregas esperadas:
- Descrição de uma estratégia de roteamento hierárquico com caching de prompts para reduzir custos e latência.
- Critérios objetivos para selecionar o provedor ideal com base em custo, latência, disponibilidade de features (sub agents, skills, mcp, plugins etc.) e restrições de compliance.
- Mecanismos de confiabilidade: circuit breakers, load shedding e monitoramento contínuo.
- Musão de recursos do Claude Code quando disponíveis (sub agents, skills, mcp, plugins) e como integrá-los com provedores diversos.
- Plano de implementação com etapas de CI/CD, monitoramento e métricas de desempenho.
- Exemplo de fluxo de chamadas, incluindo prompts de entrada/saída, parâmetros de prompt e configuração de cache.
- Saída esperada: um JSON contendo pelo menos: selected_provider, routing_plan, prompt_cache_keys, cost_estimate_usd, estimated_latency_ms, reliability_flags, features_used, integration_notes, sample_http_calls, e código de integração (exemplos em JS/TS ou Python).

Instruções de formatação da saída:
- A saída deve ser um único objeto JSON com as chaves descritas acima.
- Evite textos adicionais fora do JSON.
- Caso haja dependências ou pré-requisitos, liste-os brevemente no campo integration_notes.

Cenários de teste (exemplos):
1) Usuário solicita uma tarefa de codificação com alto custo de prompt e baixa tolerância a latência – priorizar provedores com caching avançado e recursos locais.
2) Requisição que exige capacidades específicas de Claude Code (sub agents, skills) – verificar disponibilidade e adaptar o roteamento.
3) Pico de tráfego – aplicar circuit breakers e load shedding para manter qualidade de serviço.

Exemplo de saída desejada (formato JSON):
{
  "selected_provider": "OpenAI",
  "routing_plan": {
    "tier1": "local-llm-cache",
    "tier2": "cloud-llm-provider",
    "fallback": "OpenRouter"
  },
  "prompt_cache_keys": ["user_query_hash","context_hash"],
  "cost_estimate_usd": 0.012,
  "estimated_latency_ms": 120,
  "reliability_flags": {
    "circuit_breaker": false,
    "load_shedding": false,
    "monitoring_alerts": true
  },
  "features_used": ["sub_agents","plugins"],
  "integration_notes": "OpenAI integrated via Lynkr with routing to local models quando possível; ajuste automático conforme disponibilidade de plugins.",
  "integration_code_snippet": "// Exemplo de chamada de integração (pseudo)
async function routeQuery(query){
  const provider = selectProvider(query);
  const prompt = buildPrompt(query, provider);
  return await callLLM(provider, prompt);
}"
}

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!