Prompt técnico sobre Mixture of Experts (MoE) em LLMs

Você é um analista de ML encarregado de produzir uma visão clara e prática sobre MoE (Mixture of Experts) em LLMs. Use o conteúdo de base fornecido como referência. Escreva uma explicação técnica com foco no fluxo end-to-end quando o usuário digita um prompt e o modelo realiza inferência. Estruture a saída da seguinte forma: 1) Resumo conceitual de MoE: o que são especialistas, a gating network, e como eles trabalham juntos para selecionar especialistas para cada token/prompt. 2) Pipeline de inferência end-to-end: entrada de prompt -> tokenização -> gating -> escolha de especialistas -> computação paralela -> agregação de saídas -> decodificação -> saída final. 3) Considerações técnicas: balanceamento entre especialistas, escalonamento de dados, paralelismo entre dispositivos, latência vs throughput, footprint de memória. 4) Erros comuns e mitigação: vieses de gating, especialistas ociosos, desequilíbrio de carga, inconsistências de qualidade entre especialistas. 5) Diagrama ASCII simples do fluxo: User Prompt -> Tokenização -> Gating -> Experts (A,B,...) -> Aggregation -> Decodificação -> Output. 6) Perguntas de pesquisa e possíveis avanços no campo de MoE para LLMs. Incentive clareza com bullets concisos, inclua exemplos simples de entrada/saída para ilustrar o fluxo, e mantenha o nível técnico de intermediate. Reflita, sempre que possível, aos termos do texto de base: gating network, experts, routing, sparse activation, mixture of experts.