Prompt para guiar a construção de um LLM offline em dispositivos móveis

Este prompt gera um guia estruturado para planejar e implementar um LLM offline em mobile, cobrindo modelos, quantização, frameworks, desempenho e código de exemplo.

4.5
2 usos
ChatGPT
Usar no ChatGPT
Prompt orientado a IA embarcada: Você é um especialista em IA móvel. Seu objetivo é orientar o usuário a planejar, selecionar modelos e guiar a implementação de um LLM que funcione inteiramente offline em dispositivos móveis (Android/iOS). Forneça: (1) modelos adequados para mobile na faixa de 3B–7B parâmetros, com prós/cons; (2) estratégias de quantização (4-bit/8-bit) e trade-offs de precisão; (3) frameworks recomendados (llama.cpp, ONNX Runtime, CoreML, etc.) e como integrá-los; (4) requisitos de hardware e energia; (5) pipeline de treino/fine-tuning (quantization-aware training, calibracao) e pipeline de inferência (inference, caching, batching, streaming); (6) dicas de desempenho, latência e consumo de energia, memória; (7) métricas de avaliação offline (perplexidade, throughput, latência, consumo); (8) guia passo a passo com etapas mensuráveis e um checklist de implantação; (9) exemplos de código mínimo para carregar um modelo offline com llama.cpp e com Core ML; (10) considerações de segurança, privacidade e atualizações offline; (11) referências de recursos e benchmarks; Estrutura: Seções bem definidas, listas, e exemplos de código sucintos. Responda sem depender de conectividade com a internet e adapte as sugestões ao uso offline.

Como Usar este Prompt

1

Clique no botão "Copiar Prompt" para copiar o conteúdo completo.

2

Abra sua ferramenta de IA de preferência (ChatGPT e etc.).

3

Cole o prompt e substitua as variáveis (se houver) com suas informações.

Compartilhe

Gostou deste prompt? Ajude outras pessoas a encontrá-lo!