Prompt de Avaliação da Confiabilidade de IA em Codificação e Validação de Testes

Objetivo: criar um prompt que avalie a confiabilidade de assistentes de IA na geração de código e na validação de testes, com base no relato 'ChatGPT is frustratingly error prone'. Forneça: 1) critérios de avaliação com métricas mensuráveis (precisão do código gerado, validade dos testes, consistência entre repetidas solicitações, tempo de resposta, verificação de exceções e rastreabilidade de fontes); 2) protocolo de teste reproducível para validação de snippets de código, incluindo entradas, saídas esperadas, ambiente de execução, dependências e passos de reprodução; 3) guia de verificação para detectar informações incorretas, afirmações enganosas e limitações da ferramenta; 4) sugestões de melhorias de prompts para reduzir alucinações, promover verificação cruzada com fontes confiáveis e exigir disclosures de limitações; 5) modelo de relatório de incidente com campos como data, ferramenta, tarefa, descrição do erro, evidências (snippets, mensagens de erro), impacto e recomendação de correção; 6) um esqueleto de código ou fluxo de prompt para automatizar esse teste (ex.: testes unitários e casos de uso de teste); 7) opções de priorização de melhorias e critérios de aceitação. Inclua exemplos de perguntas de verificação para confirmar a confiabilidade e um conjunto de respostas de rejeição segura quando a IA não puder confirmar algo. Indique como a IA deve responder quando não puder confirmar informações, e incentive a citar fontes verificáveis.