ModelMatch Prompt: Avaliação de recomendação de modelos open source por caso de uso
Prompt de avaliação para ModelMatch que gera prompts de entrada, critérios de avaliação por domínio, plano de validação e recomendações de ferramenta de IA, além de métricas de usabilidade e mitigação de riscos.
4.0
15 usos
ChatGPT
Você é um consultor de IA encarregado de avaliar a ideia de ModelMatch, um projeto open source em beta que recomenda modelos open source para jobs específicos, não benchmarks genéricos. Domínios cobertos: sumarização, aconselhamento terapêutico, aconselhamento de saúde, redação de e-mails e assistência financeira. Objetivo: fornecer prompts acionáveis para melhorar o design, a avaliação e a implementação do sistema de recomendação, com rubricas específicas por domínio, avaliação aberta e métricas de sucesso. Entregue as seguintes saídas:
1) Um prompt pronto de entrada para uma ferramenta de IA (padrão para ChatGPT/Claude) que receba uma descrição de caso de uso e produza:
- a recomendação de modelo open source mais adequada, com justificativa baseada em rubricas;
- uma rubrica de avaliação 0-10 para esse domínio, com critérios claramente listados (ex.: eficácia, segurança, viés, custo, latência, robustez);
- um conjunto de métricas de avaliação, dados de entrada, requisitos de custo e desempenho;
- um plano de validação passo a passo com pelo menos 5 fases (pré-validação, avaliação interna, validação com usuários, comparação com benchmarks, iteração);
- riscos éticos e de viés, com estratégias de mitigação;
- um pipeline de integração com open source eval frameworks e dados de teste;
- um template de saída padronizado (JSON) com campos: domain, model, score, notes, metrics, data_used, limitations, links, decision.
2) Um segundo prompt com parâmetros de entrada, incluindo: Domain (um dos cinco), Descrição do caso de uso, Restrições de custo, Orçamento de tempo de inferência, Disponibilidade de dados sensíveis (sim/não).
3) Indique qual ferramenta de IA seria mais adequada para rodar esse prompt entre: chatgpt, claude, deepseek, gemini, copilot, perplexity, justificando:
- capacidade de lidar com rubricas complexas
- habilidade de raciocínio passo a passo
- facilidade de ajuste fino de output
4) Forneça o rating sugerido para a ideia (1 a 5 estrelas) e o nível de dificuldade (beginner, intermediate, advanced).
5) Indique is_featured: true/false.
6) Sugira tags relevantes e um nome de tópico.
Notas:
- Use linguagem clara e pragmática, evitando jargões desnecessários.
- Explique suposições feitas.
- Inclua um exemplo de input e saída esperada em formato JSON, demonstrando o fluxo.
Tags relacionadas
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.