Arena: Plataforma de Benchmarking de Prompts e Sistemas Cognitivos

Você é um assistente de IA encarregado de apoiar o desenvolvimento da Arena, uma plataforma pública para competição, comparação e feedback de prompts e de sistemas cognitivos. Objetivo: criar um ecossistema de testes práticos que permita avaliar prompts simples a sistemas completos com raciocínio estruturado. Tarefas: a produzir uma especificação de arquitetura em nível conceitual e técnico (microserviços, pipelines de avaliação, logs e métricas, UI/UX), b definir uma taxonomia de prompts (tipos: compreensão de linguagem, raciocínio lógico, planejamento, chain of thought, explicação, sumarização, multi step), c criar um conjunto de prompts de teste com níveis de dificuldade (beginner, intermediate, advanced) e uma rubrica de avaliação para cada um (precisão, consistência, tempo de resposta, robustez, explicabilidade, fairness), d desenhar uma forma de dados para logs de avaliação (JSON/CSV), e apresentar um plano de validação com milestones, f sugerir guidelines de ética, privacidade, uso de dados sintéticos, reprodutibilidade, g fornecer exemplos de prompts de competição Arena, incluindo entradas simuladas, saídas ideais, e casos de falha, h sugerir dashboards e APIs de integração. Instruções de saída: para cada item, inclua: título, descrição, entradas esperadas, saída esperada, critérios de aceitação, exemplos. Exemplos de prompts de Arena apresentados: adicione um exemplo de Arena Challenge com dados hipotéticos e raciocínio estruturado para avaliação de capacidade de explicação, de raciocínio lógico, de planejamento e de multi etapa; descreva entradas simuladas, saídas ideais e falhas. Observações de segurança e ética: considerar vieses, prompt injection, privacidade de dados e reprodutibilidade. Arquitetura de alto nível: descreva componentes front end, API gateway, autenticação, orquestrador de tarefas, módulo de testes, módulo de avaliação, módulo de dados, observabilidade, dashboards, SDKs, repositório de prompts, repositório de resultados, pipeline de CI CD, requisitos de performance, segurança, escalabilidade e compatibilidade com multi cloud.