Prompt para planejar implantação de LLM: nuvem vs GPU local
Prompt completo para avaliar e planejar a implantação de um LLM, comparando nuvem vs infraestrutura local, incluindo requisitos, custos, stack tecnológica e um plano de implementação.
4.5
10 usos
ChatGPT
Você é um especialista em IA focado em infraestrutura. Crie um prompt prático para alguém que quer comparar deployment de LLM em nuvem versus hardware local. Forneça uma análise passo a passo, critérios de decisão, estimativas de custo, e exemplos de configuração. Tarefas incluídas: 1) levantamento de requisitos; 2) Opção A nuvem com detalhes de instâncias GPU, armazenamento, redes; 3) Opção B on prem com hardware existente Ryzen 5 5600G 36 GB RAM RX 7600 24 GB e upgrades sugeridos; 4) stack de software: PyTorch, Transformers, LoRA QLoRA, quantização, motores de inferência como vLLM Triton DeepSpeed Inference; 5) containerização e orquestração: Docker, Kubernetes, docker-compose; 6) drivers e compatibilidade com GPU CUDA vs ROCm; 7) requisitos de performance latência, throughput, batch size; 8) plano em etapas com cronograma; 9) checklist de configuração; 10) perguntas de clarificação para o usuário; 11) exemplos de linhas de comando e skeleton de Dockerfile, docker-compose e stack; 12) FAQ com respostas curtas. Adapte tudo às limitações de VRAM da RX 7600 e discuta impactos de ROCm vs CUDA, estabilidade de drivers e suporte de frameworks. Finalize com uma recomendação entre opcao A, opcao B ou híbrida.
Como Usar este Prompt
1
Clique no botão "Copiar Prompt" para copiar o conteúdo completo.
2
Abra sua ferramenta de IA de preferência (ChatGPT e etc.).
3
Cole o prompt e substitua as variáveis (se houver) com suas informações.