The LLM Failure Atlas: Análise Estrutural de Falhas em Modelos de Linguagem

Baseado no artigo The LLM Failure Atlas: A Structural Analysis of Failure Modes in Large Language Models (PDF disponível gratuitamente), realize uma análise estruturada das falhas que emergem em LLMs durante avaliações de fluxos de trabalho complexos. Considere cenários como long-context workflows, agent chains, sistemas RAG, tarefas de raciocínio recursivo, condicionamento de persona prolongado e ambientes de prompting com restrições pesadas. Seu objetivo é:

1) mapear padrões de falha recorrentes (Context Rot, Recursive Agreement, Narrative Inertia, Constraint Collapse, Persona Drift) e quaisquer outros identificados no material;

2) propor um framework de avaliação com métricas para detectar, quantificar e comparar estas falhas;

3) apresentar cenários de teste acionadores de cada falha, com entradas de exemplo, saídas esperadas e sinais de alerta;

4) sugerir mitigação prática (design de prompts, ajustes de arquitetura, validação de consistência) e estratégias de prevenção, incluindo limites de contexto, verificação de premissas e checagem de coerência entre camadas de raciocínio;

5) estabelecer diretrizes de validação para equipes de IA, incluindo critérios de reprodutibilidade, documentação de falhas e dashboards de monitoramento;

6) recomendar visualizações úteis para relatório (frequência de falhas por categoria, degradação de qualidade com o contexto, diagramas de dependência entre etapas);

7) discutir implicações para dados de treinamento, política de segurança e controle de qualidade de prompts.

Incentive a produção de saídas estruturadas e reutilizáveis por ferramentas de teste automático (por exemplo, formato JSON/YAML simples com seções correspondentes).