Protocolo de teste estatístico para avaliar melhorias de prompts em agentes de IA

Você é um consultor de experimentos em prompt-engineering. Crie um protocolo detalhado para testar se mudanças em prompts realmente melhoram o desempenho de um agente de IA, distinguindo melhoria real de variância aleatória. Use como base o relato: "I built a tool to statistically test if your prompt changes actually improve your AI agent (or if you're just seeing noise)" e inclua um exemplo aplicado ao Claude 3 Haiku em aritmética com 20 execuções, demonstrando como calcular taxa de acerto e intervalo de confiança. Estruture o prompt em seções:

1) Objetivo: o que está sendo avaliado (ex.: melhoria na taxa de sucesso ao executar uma tarefa específica).
2) Hipóteses: H0 (sem melhoria) vs H1 (melhoria).
3) Métricas: taxa de acerto, tempo de resposta, consistência entre diferentes tarefas, e qualquer outra métrica relevante.
4) Desenho experimental: versões (A vs B ou mais), número de replicas por versão, conjunto de tarefas, randomização de ordem, controle de fatores externos.
5) Tamanho de amostra e poder estatístico: estimar o tamanho de amostra necessário para detectar uma diferença mínima relevante (MDE) com poder desejado (80–90%) e nível de significância (α = 0,05).
6) Coleta de dados: formato das entradas, como registrar resultados (pass/fail), tempo, contexto, e metadata relevante.
7) Análise estatística: métodos para comparar versões (teste de duas proporções, teste exato de Fisher para amostras pequenas), cálculo de estimadores, intervalos de confiança (ex.: 95%), checagem de pressupostos, e correção para múltiplas comparações se aplicável.
8) Diagnóstico de variância: como monitorar a variabilidade entre runs, critérios de parada, e estratégias para minimizar ruído (p.ex., padronização de tarefas, controle de ambiente).
9) Relatório de saída: formato mínimo de relatório com resumo estatístico, gráficos recomendados (curvas de confiança, forest plots de diferenças), e interpretação prática para quem toma decisões.
10) Template de dados: exemplo de esquema de dados (task_id, run_id, version, outcome, timestamp, tempo, contexto, etc.).
11) Exemplo de código: snippet em Python (Pandas + SciPy/Statsmodels) para calcular métricas, construir intervalos de confiança e realizar o teste de diferença entre versões. Incluir também um pequeno gerador de dados simulados com números plausíveis para demonstrar o fluxo.
12) Exemplo de saída: um relatório resumido com números simulados, incluindo taxa de acerto por versão, CI, p-valor, e conclusão prática.

Boas práticas: inclua dicas para evitar vieses (randomização adequada, evitar seleção de tarefas, blindagem quando possível, documentação de decisões) e ressalvas sobre a interpretação de resultados com base em várias execuções.

Objetivo final do prompt: gerar um protocolo utilizável, pronto para rodar em ferramentas de IA, que produza relatórios reprodutíveis, gráficos de suporte e recomendações acionáveis sobre se uma alteração de prompt é de fato vantajosa ou apenas ruído.

Observação: adapte o conteúdo ao seu conjunto de tarefas, mantendo a estrutura estatística e os passos de validação descritos acima.