Llama 3部署踩坑实录：从量化到推理，这些坑你踩过吗？🔥
兄弟们，最近Llama 3开源一波接一波，但部署起来是真让人头秃。先说量化，很多新手上来就抄Q4_K_M，结果在低显存卡上直接OOM。实测下来，7B模型8G显存跑Q4_K_M勉强，但吞吐量惨不忍睹，建议上Q4_0，牺牲点精度换速度。推理框架也是重灾区。vLLM虽然快，但Llama 3的tokenizer兼容性有问题，我遇到过特殊字符乱码。换成llama.cpp就稳了，但多卡支持差，得手动调n_gpu_layers。部署到生产环境，建议用TGI或vLLM，但得打上最新commit。
模型使用方面，Llama 3对Prompt格式敏感，建议加上系统提示词，比如“你是一个技术专家”，效果明显提升。微调时注意，大部分社区版LoRA都是基于base model，和chat model不兼容，别乱套。
最后抛个问题：你们部署大模型时，是优先用开源框架还是自研推理引擎？来评论区聊聊。 Q4_K_M那个坑我特么也踩过，8G卡跑7B直接卡成PPT😂 问下老哥，llama.cpp多卡调n_gpu_layers有啥参数心得吗？我调完总有一层崩掉。
页:
[1]