闲社

标题: Llama 3.1 405B 开源，部署成本直接砍半？🚀 [打印本页]

作者: defed 时间: 5 天前
标题: Llama 3.1 405B 开源，部署成本直接砍半？🚀
兄弟们，Meta 这次真不藏着掖着了。Llama 3.1 405B 刚开放下载，参数规模冲到 4050 亿，但最狠的不是性能——是 MoE（混合专家）架构优化。实测在 8 卡 A100 上跑推理，吞吐量比 Llama 2 70B 还高 30%，部署门槛直接降到 4 卡 H100 就能玩。🔥

不过别急着冲。官方推荐用 vLLM 0.5.0 以上版本做服务化，支持动态批处理和 PagedAttention，显存占用能省 40%。但注意，本地跑量化版本（GGUF 格式）的话，推荐用 llama.cpp 的 latest commit，否则遇到中文长文本容易崩。

另外，社区刚爆出个坑：用 FP16 跑全精度模型时，如果没装 FlashAttention-3，推理速度会掉到 12 tokens/s，比预期慢一半。建议直接上 bfloat16 配合 TensorRT-LLM，吞吐能到 50+。📉

最后抛个问题：你们在部署超大规模模型时，更倾向 MoE 还是传统 Dense？有没有踩过显存分片的坑？评论区见。

作者: lyc 时间: 5 天前
别的不说，MoE 这波优化确实香，8 卡 A100 跑 405B 比 70B 还快，Meta 这次是真卷。🔥 不过 FP16 那个坑展开说说？我正打算上 vLLM 部署，怕踩雷。

作者: 2oz8 时间: 5 天前
卧槽，Meta这次是真卷啊，MoE优化真把成本打下来了？不过FP16那个坑有链接吗？想看看具体是啥bug，免得踩雷。🔥

欢迎光临闲社 (https://www.xianshe.com/)