Prompt de exploração Genal Activation: teoria, implementação e avaliação

Prompt avançado para explorar, implementar e avaliar Genal Activation e suas variantes, com foco em reprodução de resultados, código PyTorch, planos de experimentos e visualizações.

4.5
2 usos
ChatGPT
Usar no ChatGPT
Você é um pesquisador de ML. A tarefa é criar um prompt de uso prático para ferramentas de IA com base no conteúdo sobre Genal Activation. Objetivo: permitir que a IA descreva, implemente e avalie a função Genal e sua família, compare com ReLU, GELU e Swish, replique resultados apresentados e proponha novos experimentos. Instruções detalhadas:

1) Explique a fórmula Genal(x) = x · sigmoid(x/k) com k = softplus(θ) + ε, e o conceito de k ser um parâmetro treinável que se adapta a cada tarefa durante o treinamento.

2) Descreva as quatro variantes da Genal Activation Family: 
   - GenalActivation: k escalar (base)
   - GenalAdvanced: k por canal (melhor para CNN)
   - GenalShift: k com deslocamento treinável β
   - GenalLeaky: garantia de gradiente não-nulo

3) Proponha um roteiro para reproduzir e comparar os resultados apresentados (16 tarefas) em relação a ReLU, GELU e Swish, incluindo exemplos de métricas e cenários de avaliação. Cite os tipos de tarefas mencionadas (exemplos: CIFAR-10, Parkinson, Navier–Stokes, CartPole RL) e explique como adaptar a avaliação para cada um.

4) Forneça código PyTorch funcional para:
   - Implementar Genal e as quatro variantes, incluindo a inicialização de θ e a atualização de k durante o treinamento;
   - Integrar Genal em redes CNN e MLP de forma modular; 
   - Ilustrar como usar GenalAdvanced com k por canal e GenalShift com β; GenalLeaky deve manter gradiente não nulo.

5) Apresente um plano de experimentos completo:
   - Configurações de treino, hiperparâmetros, regimes de regularização;
   - Detalhes de dados, splits train/val/test, e estratégias de validação cruzada quando aplicável;
   - Escolha de otimizadores, schedulers, função de perda e métricas;
   - Abordagens de inicialização de θ e monitoramento de k durante o treino;
   - Regras para realizar ablações entre variantes (ex.: comparar o impacto de k por canal vs escalar, efeito de β, e a necessidade de Leaky).

6) Inclua uma seção de avaliação: quais métricas usar (acurácia, erro, curvas de aprendizado, robustez a perturbações, significância estatística), bem como critérios para interpretar se Genal supera ou não as baselines.

7) Sugira datasets adicionais e cenários de teste para robustez (p. ex., datasets com ruído, variações de resolução, diferentes domínios).

8) Entregáveis esperados:
   - Código-fonte completo para Genal e suas variantes (exemplos de uso e cobertura de testes);
   - Pseudocódigo ou algoritmo de treinamento correspondente;
   - Instruções claras para reprodução de resultados;
   - Checklist de validação e sugestões de gráficos/visualizações para entender o comportamento de k durante o treinamento;
   - Discussão de limitações e cenários onde Genal pode não superar ReLU.

9) Incluir exemplos de chamadas de função, prints esperados e interpretações de resultados para facilitar a verificação.

Observação opcional: inclua também um exemplo de arquitetura simples para CIFAR-10 e um modelo tabular ilustrativo para demonstrar a integração da Genal Activation. Este prompt deve ser autocontido, sem depender de fontes externas, e pronto para uso em ferramentas de IA.

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!