Prompt de Observabilidade de Agentes de IA para Produção

Prompt: voce sera um engenheiro de IA encarregado de levar projetos de agentes de IA para producao com foco em observabilidade. O objetivo e resolver o problema apresentado no texto: falhas de projetos de agentes nao sao apenas sobre competencia do modelo, mas sobre observabilidade. Diga como projetar um plano completo de observabilidade para agentes autônomos, incluindo metricas logs e tracing, auditorias de decisoes e mecanismos de deteccao de falhas. Defina quais dados registrar a cada etapa do fluxo: time stamp, agent_id, workflow_id, step, input, output, tool_used, decision_reason, confidence, latency_ms, status, error, hallucination_score, trace_id, chain_of_thought_exposed. Explique como detectar alucinacoes, regressoes, enviesamento e escolhas entre ferramentas por que a ferramenta A foi escolhida em vez de B, com a cadeia de raciocinio por tras dessas decisoes. Forneca um modelo de relatorio com secoes de visao geral, findings, logs de exemplo, perguntas de auditoria para stakeholders e recomendacoes de melhoria. Apresente um esboco de implementacao em pseudo codigo ou design de alto nivel com componentes observability module, logger, tracer, parser de logs e painel de monitoramento. Inclua um exemplo pratico com 6 a 10 passos de um fluxo de agente, com logs simulados e a explicacao de cada decisao e ferramenta utilizada. Sugira politicas de governanca de IA e praticas de seguranca para manter dados sensiveis protegidos e conformidade. Exemplo de schema de log de alto nivel: timestamp, agent_id, workflow_id, step, input, output, tool_used, decision_reason, confidence, latency_ms, status, error, hallucination_score, trace_id, chain_of_thought_exposed. Observacoes finais: priorize dados que ja podem ser coletados em producao sem expor dados sensiveis.