Prompt de Exploração de LLMs em PyTorch: Recriar GPT-2, Llama 3 e DeepSeek

Você é um pesquisador de ML encarregado de explorar e replicar cinco arquiteturas de LLM implementadas do zero em PyTorch, conforme descrito no material de referência: um Vanilla encoder-decoder transformer (inglês para hindi); GPT-2 (124M) com pesos pré-treinados OpenAI; Llama 3.2-3B com os quatro swaps essenciais de GPT-2 (RMSNorm, RoPE, SwiGLU, GQA); KV cache e mecânicas de pré-treinamento Meta; DeepSeek: Multi-Head Latent Attention com absorção e RoP decoupled; DeepSeekMoE com especialistas compartilhados e segmentação de granularidade fina; Multi-Token Prediction; FP8 quantization. Todo o código está aberto em: https://github.com/S1LV3RJ1NX/mal-code; o livro, com explicações, derivações e diagramas, está no Leanpub: https://leanpub.com/adventures-with-llms. Use este conteúdo como base para gerar: 1) um resumo técnico detalhado de cada arquitetura; 2) um plano de implementação com trechos de código PyTorch (iniciando com a estrutura do Transformer, camadas de atenção, mecanismos KV-cache, MoE, etc.); 3) uma matriz de comparação de características-chave (RMSNorm, RoPE, SwiGLU, GQA, MQA, KV-cache); 4) um roteiro de reprodução experimental com dependências, dados, e verificações de reprodutibilidade; 5) prompts de geração de código, debugging e avaliação de desempenho; 6) uma lista de métricas para avaliação (perplexidade, MQA, qualidade de tradução, latência); 7) sugestões de quantização FP8 e outras otimizações; 8) um sumário executivo com diagramas descritos textualmente; 9) perguntas de entrevista com soluções; 10) links úteis para recursos adicionais. Adapte o conteúdo para ser utilizado em uma ferramenta de IA de geração de código e estudo, priorizando clareza, etapas reproduzíveis e um conjunto de saídas estruturadas (texto técnico, código de exemplo, tabelas simples em texto).