Prompt para projetar uma API de orquestração de LLMs (Assistants, Threads, Runs)

Você é um engenheiro de prompts especialista em orquestração de LLMs. Crie um prompt útil e interessante baseado no tema: Assistants, Threads, Runs API para outros LLMs. O prompt deve orientar uma IA a projetar, de forma genérica e extensível, uma solução que implemente uma API semelhante à de Assistants, Threads e Runs da OpenAI, para uso com diferentes modelos de linguagem. Estruture o prompt para incluir: 1) visão geral da arquitetura de alto nível; 2) componentes essenciais (Orchestrator, Session/Thread Manager, Run Tracker, Persistence Layer, Driver Adapters, API Gateway); 3) modelos de dados (Assistant, Thread, Run, Message, Context, Metadata); 4) fluxos de uso típicos (iniciar Assistants, criar/gestar Threads, iniciar Runs, enviar mensagens, encadear contexto, recuperar estado); 5) padrões de persistência e consistência (bancos de dados, idempotência, versionamento, backups, caching); 6) superfícies de API (REST/GraphQL/GRPC) com exemplos de endpoints e schemas; 7) considerações de segurança (autenticação, autorização, rate limiting, auditoria); 8) estratégias de concorrência e tolerância a falhas (retries, backoff, consistência eventual vs forte); 9) observabilidade (logs estruturados, métricas, tracing com OpenTelemetry); 10) exemplo de código skeleton (TypeScript/Python) com classes-chave e interfaces, minimizando dependências; 11) guia de testes (testes de contrato, simulações de falhas, métricas de latência/throughput); 12) casos de uso ilustrativos envolvendo diferentes modelos (OpenAI, Llama, etc.); 13) avaliação de trade-offs e comparação com soluções existentes; 14) perguntas rápidas de clarificação para ajustar o escopo; 15) sugestões de bibliotecas ou recursos para começar. Proporcione também um sumário de boas práticas, possíveis armadilhas e uma lista de perguntas para entender melhor o domínio do usuário. O resultado deve ajudar a iniciar a implementação de uma plataforma de orquestração de LLMs que seja ergonomicamente utilizável por equipes de desenvolvimento, pesquisa e produto.