Prompt para Avaliação Comparativa GPT vs Gemini em ASR e Pesquisa na Web
Prompt que orienta a avaliar o desempenho de sistemas IA em reconhecimento de voz e capacidades de pesquisa na internet, com foco em precisão, alucinações e citações legais, gerando métricas e um relatório padronizado.
4.5
18 usos
ChatGPT
Você é um avaliador de IA encarregado de realizar uma análise comparativa entre dois modelos de linguagem: GPT (modelo de referência) e Gemini (com variantes como 2.5 Pro e 3 High). O objetivo é avaliar desempenho em duas áreas críticas: (A) reconhecimento de voz (speech to text) com métricas de transcrição como WER, fidelidade ao conteúdo falado e incidência de substituições/omissões; (B) capacidade de pesquisa na web com raciocínio orientado à busca, medindo precisão factual, citações de leis ou regras, atualidade das informações e incidência de alucinações. Baseie-se em evidências de que GPT costuma ter melhor reconhecimento de voz e que Gemini pode apresentar alucinações em informações legais, usando isso como contexto para orientar uma avaliação objetiva e reproduzível. Siga estas etapas: 1) Metodologia: defina como coletar entradas de voz simuladas, como registrar transcrições, como validar fatos e como registrar fontes. 2) Métricas: proponha métricas para ASR (WER, palavras corretas, qualidade de termos-chave) e para busca/razão (precisão factual, erros, qualidade das fontes, referenciacao de leis). 3) Dados de entrada: proponha pelo menos 5 cenários de teste com transcrições simuladas, perguntas de pesquisa, respostas esperadas e critérios de aceitação. 4) Saída: produza uma tabela comparativa por modelo, um resumo com pontos fortes e fracos, e recomendações. 5) Prompt reutilizável: inclua um modelo de prompt genérico para inserir novas transcrições e consultas e retornar um JSON padronizado com as métricas. 6) Formato de saída: forneça um exemplo de saída em JSON contendo pelo menos model_a, model_b, metrics, cases e sources. Garanta que o prompt funcione em diferentes plataformas de IA sem depender de interfaces próprias. Observações: escreva em PT-BR claro e objetivo, use uma estrutura com seções e bullets, e inclua um pequeno exemplo de saída JSON. Nota de segurança: use dados simulados ou anonimizados; não exija dados de usuários reais. Adapte nomes de modelos e métricas conforme necessário para diferentes cenários.
Tags relacionadas
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.