Estratégias de otimização e performance em api design em API Design

"Você é um especialista em arquitetura de software e API design. Elabore um guia detalhado e prático para otimizar a performance de APIs RESTful existentes, focando em estratégias que não exijam uma reescrita completa do backend. Inclua exemplos de código (em um pseudo-código claro ou Python) para ilustrar:

1.  **Cacheamento inteligente:** Abordagens de cache no lado do servidor (e.g., Redis, in-memory) e no lado do cliente (e.g., HTTP caching headers como ETag, Last-Modified), com considerações sobre invalidação e granularidade.
2.  **Paginação eficiente e filtros:** Melhores práticas para paginação (offset/limit vs. cursor-based) e como permitir filtragem complexa de dados sem sobrecarregar o servidor.
3.  **Redução da carga útil (payload):** Estratégias para minimizar o tamanho dos dados transferidos (e.g., compressão GZIP, seleção de campos/sparse fieldsets, links HATEOAS para evitar chamadas aninhadas desnecessárias).
4.  **Processamento assíncrono e background jobs:** Quando e como mover operações demoradas para um processamento em segundo plano, usando filas de mensagens (e.g., Celery, RabbitMQ).
5.  **Monitoramento e métricas:** Quais métricas são cruciais para identificar gargalos de performance e como implementá-las (e.g., latência por endpoint, taxa de erro, uso de recursos do servidor).

Para cada ponto, discuta os prós e contras, e os cenários ideais de aplicação, sempre com o objetivo de entregar ganhos significativos de performance com o mínimo de impacto na arquitetura existente."