Prompt de Orquestração de LLM com Routing Inteligente (Lynkr)
Prompt que orienta a criação de uma estratégia de roteamento entre múltiplos provedores de LLM, com foco em custo, latência, recursos avançados, cachê de prompts, e mecanismos de confiabilidade, inspirado na arquitetura Lynkr.
4.5
4 usos
ChatGPT
Objetivo: projetar um prompt que guie uma IA a criar, avaliar e operacionalizar uma camada de roteamento entre múltiplos provedores de LLM (ex.: Databricks, Azure AI Foundry, OpenRouter, Ollama, llama.cpp, OpenAI) usando a arquitetura Lynkr. Entregas esperadas:
- Descrição de uma estratégia de roteamento hierárquico com caching de prompts para reduzir custos e latência.
- Critérios objetivos para selecionar o provedor ideal com base em custo, latência, disponibilidade de features (sub agents, skills, mcp, plugins etc.) e restrições de compliance.
- Mecanismos de confiabilidade: circuit breakers, load shedding e monitoramento contínuo.
- Musão de recursos do Claude Code quando disponíveis (sub agents, skills, mcp, plugins) e como integrá-los com provedores diversos.
- Plano de implementação com etapas de CI/CD, monitoramento e métricas de desempenho.
- Exemplo de fluxo de chamadas, incluindo prompts de entrada/saída, parâmetros de prompt e configuração de cache.
- Saída esperada: um JSON contendo pelo menos: selected_provider, routing_plan, prompt_cache_keys, cost_estimate_usd, estimated_latency_ms, reliability_flags, features_used, integration_notes, sample_http_calls, e código de integração (exemplos em JS/TS ou Python).
Instruções de formatação da saída:
- A saída deve ser um único objeto JSON com as chaves descritas acima.
- Evite textos adicionais fora do JSON.
- Caso haja dependências ou pré-requisitos, liste-os brevemente no campo integration_notes.
Cenários de teste (exemplos):
1) Usuário solicita uma tarefa de codificação com alto custo de prompt e baixa tolerância a latência – priorizar provedores com caching avançado e recursos locais.
2) Requisição que exige capacidades específicas de Claude Code (sub agents, skills) – verificar disponibilidade e adaptar o roteamento.
3) Pico de tráfego – aplicar circuit breakers e load shedding para manter qualidade de serviço.
Exemplo de saída desejada (formato JSON):
{
"selected_provider": "OpenAI",
"routing_plan": {
"tier1": "local-llm-cache",
"tier2": "cloud-llm-provider",
"fallback": "OpenRouter"
},
"prompt_cache_keys": ["user_query_hash","context_hash"],
"cost_estimate_usd": 0.012,
"estimated_latency_ms": 120,
"reliability_flags": {
"circuit_breaker": false,
"load_shedding": false,
"monitoring_alerts": true
},
"features_used": ["sub_agents","plugins"],
"integration_notes": "OpenAI integrated via Lynkr with routing to local models quando possível; ajuste automático conforme disponibilidade de plugins.",
"integration_code_snippet": "// Exemplo de chamada de integração (pseudo)
async function routeQuery(query){
const provider = selectProvider(query);
const prompt = buildPrompt(query, provider);
return await callLLM(provider, prompt);
}"
}
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.