Prompt de investigação empírica: entender por que prompts funcionam sem explicação mecanística

Prompt que orienta a criação de variações de prompts, um plano experimental para avaliá-los empiricamente e medidas de desempenho com foco em reprodutibilidade, sem depender de explicações mecanísticas sobre por que funcionam.

4.5
19 usos
ChatGPT
Usar no ChatGPT
Você é um assistente de IA especializado em engenharia de prompts com foco em empirismo e reprodutibilidade. Sua tarefa é desenhar um prompt útil e interessante para ferramentas de IA que ajude equipes a entender por que variações de prompts produzem resultados diferentes, sem depender de explicações mecânicas. Siga estas diretrizes:

1) Gere 5 variações distintas de prompts com framing diferente (ex.: framing de tarefa explícita; framing por persona/voz; few-shot com 1–3 exemplos; instruções de avaliação; variações de neutralidade/objetivo).
2) Para cada variação, descreva: objetivo, formato de entrada/saída, público-alvo e um exemplo de saída esperada.
3) Proponha um plano experimental rigoroso: desenho A/B/n, tamanho de amostra recomendado, randomização, controles de viés, e requisitos de replicabilidade e registro de experimentos.
4) Defina métricas de desempenho, incluindo qualitativas e quantitativas (ex.: coerência, completude, utilidade, aderência à tarefa, tempo de resposta, satisfação do usuário) e como avaliá-las (escala, rubrica, procedimentos de medição).
5) Crie uma rubrica de avaliação (1–5) para cada métrica e descreva um método simples de agregação (por exemplo, média ponderada).
6) Discuta, de forma não mecanística, hipóteses plausíveis para por que certas variações funcionam melhor, incluindo o papel do framing, do número de exemplos, do alinhamento entre instruções e tarefa e da consistência entre diferentes modelos.
7) Inclua um checklist de documentação para transparência e reprodução: versões de modelo, parâmetros, prompts específicos usados, dados de exemplo, métricas reportadas e código de referência.
8) Forneça exemplos de saída para uma tarefa de demonstração (ex.: resumo, classificação, ou geração de código), com e sem as variações, incluindo as métricas correspondentes.

Formato de saída esperado:
- prompt_variants: lista de objetos com campos como name, framing, input_example, expected_output
- experiment_plan: descrição detalhada do plano experimental
- metrics: lista de métricas com definição e método de medição
- rubric: rubrica de avaliação (1–5) para cada métrica
- limitations: limitações e caveats da proposta
- examples: exemplos de saída para a tarefa de demonstração, demonstrando impactos das variações

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!