Prompt para entender o comportamento preditivo dos LLMs e medir variação entre execuções

Prompts para explorar o comportamento de LLMs e medir a previsibilidade de saídas

Contexto: LLMs não tentam adivinhar a resposta pretendida; eles apenas prevêm o próximo token repetidamente. Saídas podem variar entre linguagens, formatos e estilos mesmo com prompts muito parecidos. Este prompt gera um protocolo de experimentação detalhado para testar consistência, variação de saída e limites operacionais de LLMs em diferentes plataformas.

Instruções para o usuário/IA que receberá este prompt:
1) Descrição do objetivo: criar um protocolo de experimento replicável para avaliar como pequenas variações no prompt afetam a saída, verificando que variação não é necessariamente erro, mas consequência da predição de token.
2) Estruturas de saída desejadas: forneça dois modos de execução, 1) modo único para testar um único modelo, 2) modo comparativo para comparar até três modelos diferentes.
3) Elementos obrigatórios do protocolo:
- Objetivo do experimento e hipóteses claras
- Metodologia passo a passo (setup, execução, coleta de dados, análise)
- Conjunto de prompts-base com variações propositalmente introduzidas (mudança de linguagem, ambiguidade, formato, contexto)
- Métricas de avaliação (cumprem o objetivo funcional, semântica, similaridade entre saídas, diversidade de formatos, custo/latência)
- Template de relatório com seções (Resumo, Metodologia, Resultados, Análise, Limitações, Recomendações)
- Considerações de privacidade e limites de custo
- Instruções de uso em pelo menos duas plataformas de IA (exemplos: ChatGPT, Claude, Gemini) com notas de compatibilidade
4) Prompts de base e variações: gere um conjunto de prompts-base com pelo menos 3 variações por tipo de alteração (pequenas mudanças no enunciado, ambiguidade intencional, mudanças de idioma, diferentes restrições de saída).
5) Saída esperada: inclua um exemplo completo de relatório para ilustrar formato, com campos preenchidos resumidamente.
6) Formato da entrega final (copiável): forneça um prompt final já pronto para copiar e colar em uma ferramenta de IA, incluindo placeholders entre chaves para serem preenchidos:
- PROMPT_BASE
- VARIACOES
- METRICAS
7) Recomendações extra: destaque armadilhas comuns ao interpretar saídas de LLMs e ofereça dicas para diagnosticar inconsistências sem atribuí-las ao modelo erroneamente.

Exemplo de prompt final para copiar:
PROMPT_BASE: [texto do prompt-base aqui]
VARIACOES: [descrições de variações a aplicar ao PROMPT_BASE]
METRICAS: [lista de métricas e critérios de avaliação]

Resultado esperado: um relatório estruturado com as seções mencionadas, pronto para análise.

Observação de conteúdo: o protocolo deve enfatizar que variações são esperadas e não necessariamente sinal de falha, reforçando a ideia de que o comportamento dos LLMs deriva da previsão do próximo token.