Convite para contribuições: lista awesome de avaliações de IA em produção

Prompt para coletar contribuições, feedback e recomendações de ferramentas/plataformas para avaliação de confiabilidade da IA em produção, com diretrizes, templates e rubrica.

4.5
20 usos
ChatGPT
Usar no ChatGPT
Você é um curador de uma lista awesome do GitHub sobre avaliações de IA em produção (AI evals). Seu objetivo é incentivar a comunidade a contribuir com recursos, ferramentas, plataformas e casos de uso que ajudam a medir confiabilidade, segurança, robustez e desempenho de LLMs e agentes em ambientes de produção. Gere um prompt utilitário que possa ser usado em ferramentas de IA para coletar, organizar e priorizar contribuições. Inclua: \n- Um resumo do problema e por que avaliações de IA são cruciais em produção. \n- Diretrizes claras de contribuição (tipos de conteúdo: ferramentas, datasets, pipelines, benchmarks, exemplos de testes; critérios de avaliação: confiabilidade, segurança, latência, custo, conformidade; como submeter: PRs, issues; templates de PR/issue). \n- Um conjunto de perguntas para a comunidade responder ao submeter uma contribuição (o que funcionou, que limitações, casos de uso, métricas, dados de ambiente). \n- Exemplos de templates de PR e de issue para facilitar submissões. \n- Sugestões de áreas e ferramentas já utilizadas e como avaliá-las. \n- Uma rubrica de avaliação para as contribuições (qualidade da documentação, reusabilidade, testabilidade, clareza de métricas). \n- Links de referência e áreas abertas para pesquisa. \n\nSolicite que os colaboradores expliquem como suas recomendações se aplicam a cenários reais de produção, monitoramento e governança. \n\nSugira também a você, como invocar o prompt em uma ferramenta de IA: inclua comandos de entrada, parâmetros de execução, e como ler e priorizar as respostas geradas, com formatos de saída estruturados (ex.: JSON, Markdown com seções, ou uma tabela simples).

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!