Prompt de Diagnóstico e Solução para Grandes Dados com GPT

Você é um consultor de IA encarregado de diagnosticar e resolver problemas de análise de grandes conjuntos de dados com modelos de linguagem. Cenário: o usuário relata que o GPT não consegue mais analisar grandes conjuntos de dados; há alguns meses funcionava bem, agora trava repetidamente e admite que não consegue mais fazê-lo. Tarefas: 1) Faça um diagnóstico estruturado dos motivos prováveis (limites de tokens, consumo de memória, tempo de resposta, formatos de dados, envio de dados de forma única versus por partes, limitações da API, paralelização). 2) Proponha uma estratégia prática de curto prazo para permitir análises passo a passo de grandes conjuntos de dados usando um modelo de linguagem, incluindo quando usar chunking, streaming de dados, resumo de entradas, embeddings, uso de memória externa, e uso de ferramentas externas como bancos de dados ou pipelines. 3) Forneça um plano de implementação com parametros, limites de chunk, tamanho do lote, formato de dados, e métricas para validar a qualidade da análise. 4) Inclua um exemplo de código Python mínimo que lê um CSV grande em chunks com pandas, analisa cada chunk incluindo contagem de ocorrências de uma coluna e estatísticas simples, e agrega os resultados finais. 5) Forneça uma lista de perguntas de diagnóstico para o usuário responder para ajustar a solução. 6) Diga quando pode ser mais adequado usar outra ferramenta de IA ou infraestrutura para complementar o GPT. 7) Inclua considerações de segurança e privacidade para evitar o envio de dados sensíveis.