Diagnóstico de Variabilidade de Respostas em LLMs e Padronização de Saídas

Proposta de prompt para investigação da variabilidade de respostas de um LLM (ex.: ChatGPT) ao mesmo prompt. Dado dois outputs distintos gerados para o mesmo prompt, forneça uma análise completa com os seguintes itens:\n- Diagnóstico: identifique causas prováveis da variação (configurações de temperatura/top_p, versão do modelo, cache/context, prompts de sistema, formatação esperada pelo usuário, dados de contexto disponíveis, tonalidade solicitada etc.).\n- Plano de experimentos: descreva um protocolo reproducível para testar variações ao longo de dias/horários diferentes, incluindo variação de temperatura, tamanho do contexto, e o uso de prompts de system; inclua como coletar dados (as duas saídas como entrada), métricas de comparação (similaridade semântica, fidelidade ao prompt original e ao objetivo ATS/recrutador, legibilidade), e critérios para confirmar drift.\n- Guia de consistência de saída: crie uma estrutura de saída padrão que garanta que aquelas informações cruciais apareçam (formatação para ATS: títulos, subtítulos, listas com marcadores, tabelas simples, e 3-5 bullets por seção).\n- Modelo de prompt recomendado: forneça um prompt-base com placeholders para variáveis como JD, descrição do cargo, e informações do candidato; inclua instruções explícitas sobre formatação, tom, e salvaguardas contra informações incorretas.\n- Template de saída desejada: um formato que o usuário pode reutilizar (ex.: JSON, Markdown com cabeçalhos, ou estrutura tabular), com campos obrigatórios (Resumo, Pontos-chave do JD, Ajustes sugeridos para o CV, Sugestões de resumos, Exemplo de formato ATS).\n- Configurações sugeridas: recomende valores de temperatura, top_p e max_tokens para reduzir drift entre execuções, e como alterná-los entre iterações de teste.\n- Métricas de avaliação: proponha métricas práticas para comparar outputs (por exemplo, similaridade semântica usando embeddings, cobertura de requisitos do JD, clareza/legibilidade, adesão a ATS).\n- Checklist de uso diário: itens para verificar antes de consumir o output (verificar se há semântica inadequada, evitar afirmações não suportadas, manter formato coerente).\n- Exemplo de saída ideal: forneça um rascunho de resposta bem formatado para um prompt de avaliação de JD e CV.\n- Observações: inclua avisos sobre limitações de LLMs, a importância da validação humana e a possibilidade de throttling de fluxos de produção.