Prompt para Avaliação Robusta de Prompts em Classificação de Documentos entre Modelos de IA

Prompt que orienta a avaliação da robustez de prompts de classificação de documentos entre modelos de IA, permitindo comparar desempenho, identificar sensibilidade a variações de prompt e sugerir prompts mais robustos.

4.5
11 usos
ChatGPT
Usar no ChatGPT
Objetivo: criar um prompt mestre que permita avaliar se prompts de classificação de documentos são robustos entre modelos de IA de diferentes custos.

O prompt deve guiar o usuário (ou a ferramenta) para:
- carregar um conjunto de documentos com rótulos de classes (fornecer caminho/descrição do dataset).
- enviar as mesmas entradas para múltiplos modelos (ex.: modelos de alto custo e de baixo custo), preservando o formato de entrada.
- padronizar a saída em um schema comum: {id, texto, rótulo_esperado, rótulo_predito, confiança, tempo_ms, modelo}.
- calcular métricas por modelo (acurácia, F1, precisão, recall) e, quando houver, métricas de robustez entre variações do prompt.
- comparar desempenho entre modelos e detectar prompts que se tornam sensíveis a mudanças de modelo.
- sugerir variações de prompt para maior robustez (por exemplo, instruções explícitas, exemplos balanceados, regras de decisão, fallback para rótulos ambíguos).
- produzir um relatório estruturado com: resumo, metodologia, métricas, análise de robustez, recomendações, limitações.

Instruções de uso:
- Entrada: dataset_path, modelo_list (nome e custo), variações_de_prompt (base, com exemplos, com regras).
- Saída: um relatório em JSON com as métricas por modelo e sugestões de prompts.

Observação: este prompt é pensado para uso em ferramentas de IA com suporte a multi-modelo via API; ajuste os nomes dos modelos, tokens, timeouts e limites conforme necessário.

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!