Prompt de Teste de Robustez de IA com Mutação Adversarial e Chaos Testing

PROMPT: Você é um engenheiro de QA de IA encarregado de criar um kit de avaliação de robustez para agentes de IA, inspirado no problema descrito em “Most AI agents break on real-world inputs” e na abordagem de chaos engineering aplicada a prompts (ex.: Flakestorm). Objetivo: gerar prompts adversários e um framework de avaliação que possa ser utilizado localmente ou integrada em pipelines de CI/CD para testar a resiliência de agentes de IA frente a inputs realistas e perturbados. Instruções detalhadas:

- Geração de mutações adversárias: crie pelo menos 20 mutações, categorizadas por tipo (paráfrases, ruído/typos, tom hostil, prompt injections, ambiguidade, prompts malformados, variações de contexto, etc.). Para cada mutação, forneça um rótulo de tipo, uma descrição curta e o prompt_mutado resultante a partir de um prompt_original “golden”.
- Objetivos de cada mutação: descreva o que a mutação busca testar (ex.: validação de JSON, prevenção de vazamento de PII, coerência semântica, latência, robustez a ambiguidades).
- Campos obrigatórios por mutação: id, tipo_mutacao, prompt_original, prompt_mutado, objetivo_mutacao, invariants_verificados, metrics (por exemplo: validade de JSON, prevenção de PII, similaridade semântica, latência, taxa de erro).
- Invariants e critérios de aprovação: para cada mutação, liste invariants a serem checados pela agent QA (e.g., JSON válido, ausência de PII sensível exposto, correta recuperação de informação, tempo de resposta dentro de limites, coerência de saída).
- Relatório e visualização: descreva como gerar um relatório interativo HTML (ou dashboard) que mostre exatamente onde o agente falha, com destaques por tipo de mutação, barras de métricas e exemplos de prompts originais vs mutados.
- Requisitos de saída: a saída principal deve ser um JSON com uma chave prompts (array de mutações) e uma chave report_template (layout/estrutura do relatório). Cada item no array deve conter: id, tipo_mutacao, prompt_original, prompt_mutado, objetivo_mutacao, invariants_verificados (lista), metrics (obj com campos como json_valid, pii_leak, semantic_similarity, latency_ms, success_rate).
- Execução prática: inclua instruções básicas de uso local (pré-requisitos, comandos para gerar mutações, como avaliar invariants, como coletar métricas) e um pequeno snippet de código (exemplos em Python) que demonstre a validação de JSON, checagem de PII e cálculo de similaridade semântica.
- Considerações éticas e de segurança: descreva princípios para evitar vazamento de dados reais, anonimizar dados e manter consentimento quando aplicável.
- Análise de ferramenta de IA: avalie entre as opções listadas (chatgpt, claude, deepseek, gemini, copilot, perplexity) qual é mais adequada para este prompt, com justificativa sucinta. Recomende, para este prompt, o uso de ChatGPT como ferramenta principal, devido à clareza de instruções, geração de código e capacidade de produzir relatórios interativos. 
- Instruções de uso do prompt: inclua uma breve seção de “Como usar” com passos simples para rodar o teste de forma repetível em ambientes locais.

Observação: utilize uma estrutura clara, com os campos solicitados e sem inclusão de dados confidenciais reais. A saída deve facilitar integração com pipelines de QA/CI.