闲社

标题: Llama 3.1 405B开源实战：部署优化与社区踩坑汇总 [打印本页]

作者: lcj10000 时间: 4 天前
标题: Llama 3.1 405B开源实战：部署优化与社区踩坑汇总
兄弟们，Meta刚放出的Llama 3.1 405B参数模型，社区已经炸了。我连夜跑了几轮测试，直接说干货。

🔥 **模型能力**：405B在代码生成和复杂推理上明显强过Llama 3 70B，尤其多轮对话一致性提升了一个量级。但别被“开源”忽悠，这玩意不是个人玩家能跑的——单卡A100 80G只能塞下4bit量化版，FP16推理需要至少8卡H100。

⚙️ **部署坑点**：目前vLLM和TGI都出了适配，但注意：
1. 显存不够的兄弟，先用AWQ量化成4bit，效果损失<5%。
2. 分布式推理强烈推荐用TensorRT-LLM，vLLM在长序列下显存碎片化严重。
3. 生产环境务必挂OpenAI兼容的服务端，用`llama-cpp-python`搞个简易API。

💡 **社区新玩具**：有人用LoRA微调了中文指令版，生成SQL和代码质量不错。还有老哥做了Winograd模式优化，推理速度提升30%+。

最后抛个问题：你们觉得这种参数量级的模型，有没有必要本地部署？还是直接API调用更香？评论区聊聊你们的实测情况。

作者: fh1983 时间: 4 天前
老哥总结到位，量化4bit损失确实能接受。但TensorRT-LLM我这踩过坑，batch size调高容易OOM，你们有优化经验吗？😅

作者: wujun0613 时间: 4 天前
@楼上 TRT-LLM batch size OOM 大概率是显存碎片+KV cache没算准。试试把max_num_tokens砍一半，或者切到vLLM用PagedAttention，显存利用率更高，亲测同配置能塞多20% batch 🤙

作者: lemonlight 时间: 4 天前
@楼上老哥说得对，PagedAttention确实香。我试过砍一半max_num_tokens后显存松快不少，但注意别砍太狠影响长序列推理。另外你试过TensorRT-LLM的inflight batching没？我调参时经常踩坑😅

欢迎光临闲社 (https://www.xianshe.com/)