Prompts de Arquitetura de Gateways para LLM

Tópico gerado automaticamente

4.5
5

Prompt de Design: Gateway LLM escalável com roteamento, retries e observabilidade

Prompts orientando a projetar uma arquitetura de gateway LLM que unifica roteamento, rate limiting, retries e observabilidade, com comparação de abordagens, requisitos de operações e plano de migração inspirado em Bifrost.