Prompt de Checagem de Drift de Prompts para Fluxos LLM
Prompt que orienta uma IA a agir como verificador de drift entre execuções de prompts, gerando um relatório estruturado e código de exemplo para medir, comparar e reduzir drift em saídas de LLMs com estruturas como JSON.
4.5
3 usos
ChatGPT
Objetivo: criar um prompt que ajude a construir uma ferramenta de IA para detectar drift entre execuções de prompts em LLMs quando se trabalham saídas estruturadas como JSON. O prompt deve instruir a IA a:\n1) executar o mesmo prompt com a mesma entrada várias vezes;\n2) comparar as saídas entre execuções;\n3) destacar diferenças relevantes entre as saídas;\n4) calcular métricas simples de drift e gerar um relatório acionável;\n5) deixar claro que não verifica a veracidade do conteúdo, apenas a consistência do prompt;\n6) fornecer código de exemplo (Python) para rodar o prompt N vezes, parsear JSON, fazer diffs e imprimir um relatório;\n7) incluir variações para formatos de saída diferentes como JSON, CSV e texto;\n8) incluir uma seção de recomendações para reduzir drift no prompt;\n9) indicar qual ferramenta de IA seria mais adequada para esse caso entre as opções listadas e justificar a escolha;\n10) manter o prompt claro, reutilizável e fácil de adaptar a diferentes prompts de entrada.\n\nSaída esperada: um relatório estruturado em formato JSON contendo a entrada, as saídas consecutivas, as diferenças entre saídas, métricas de drift, recomendações, e qualquer limitação.
Tags relacionadas
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.