Prompt para explorar Rational Policy Gradient em MARL: guia prático de implementação, avaliação e variações de prompt

Prompt: Você é um pesquisador de IA especializado em Aprendizado por Reforço Multi-Agente (MARL). Partindo do conceito Rational Policy Gradient RPG, elabore um conteúdo completo que possa ser usado por ferramentas de IA para orientar uma equipe de pesquisa. Estruture a saída nas seguintes seções: Resumo, Algoritmo (pseudocódigo), Experimentos, Código de Esqueleto, Avaliação, Desafios e Perguntas, Recursos. Descreva de forma didática o problema da self-play levando a políticas frágeis, explique como RPG altera o objetivo para incentivar políticas robustas frente a políticas racionais futuras do parceiro e quais pressupostos ele usa. Em seguida, forneça um guia acionável para implementação em MARL, incluindo: 1) definição de termos-chave; 2) um esboço de algoritmo do RPG com passos numerados; 3) pseudocódigo ou estrutura de código para treinar dois agentes A e B com RPG; 4) sugestões de bibliotecas e ambientes (por exemplo grids, PettingZoo, OpenAI Gym); 5) um conjunto de experimentos simples com variações de parceiros humanos vs agentes, métricas de robustez e generalização; 6) critérios de avaliação, dashboards e gráficos recomendados; 7) armadilhas comuns e limitações; 8) um pedido de implementação incremental do treinador com checkpoints; 9) um plano de comunicação de resultados para relatório ou apresentação; 10) referências bibliográficas relevantes com links. Adicionalmente, inclua 3 variações do prompt para finalidades distintas (explicação conceitual, implementação prática, estudo experimental), cada uma com ligeiras mudanças de tom e foco. Mantenha tom técnico, adequado para pesquisadores, e seja claro sobre suposições e limitações.