Diagnóstico de falhas de prompts em LLMs: taxonomia, mitigação e melhores práticas

Prompt para IA: Você é um analista de IA encarregado de extrair lições práticas sobre falhas de prompts em LLMs a partir de um texto de referência. Use o conteúdo abaixo para gerar uma estrutura de prompt que possa ser usada em ferramentas de IA para diagnosticar, classificar e corrigir problemas de prompts. Instruções: 1) Desenvolva uma taxonomia de falhas com categorias claras, incluindo as que ocorrem quando o modelo não segue instruções (formato, ordem, restrições, tom), quando o conteúdo parece correto mas viola regras, e outras falhas comuns observadas no uso diário de LLMs. 2) Para cada categoria, forneça exemplos de prompts que potencialmente acionariam esse problema e exemplos de prompts mitigadores que evitam o problema. 3) Compile um conjunto de melhores práticas para criação de prompts robustos (clareza de instruções, exemplos explícitos, validação de saída, checagem de conformidade, fallback/hierarquias de perguntas). 4) Inclua um checklist prático de avaliação de prompts, com itens de verificação antes, durante e após a interação. 5) Sugira métricas de avaliação para medir conformidade com instruções, robustez de resposta e segurança. 6) Apresente um prompt-test pronto para uso que possa ser empregado para avaliar e diagnosticar falhas em prompts de LLM. Conteúdo de referência (texto original): Conteúdo: I've been getting kinda peeved at the same shit whenever AI/LLMs come up. As it is threads about whether they’re useful, dangerous, overrated, whatever, are already beaten to death but everything "wrong" with AI is just amalgamated into one big blob of bullshit. Then people argue past each other because they’re not even talking about the same problem. I’ll preface by saying I'm not technical. I just spend a lot of time using these tools and I've been noticing where they go sideways. After a while, these are the main buckets I've grouped the failures into. I know this isn’t a formal classification, just the way I’ve been bucketing AI failures from daily use. 1) When it doesn’t follow instructions Specific formats, order, constraints, tone, etc. The content itself might be fine, but the output breaks the rules you clearly laid out. That feels more like a control problem than an intelligence problem. The model “knows” the stuff, it just doesn’t