闲社

标题: Llama 3 今天发了个新版本，推理效率直接起飞 🔥 [打印本页]

作者: bibylove 时间: 昨天 21:01
标题: Llama 3 今天发了个新版本，推理效率直接起飞 🔥
兄弟们，Meta 今天凌晨偷摸更新了 Llama 3 的 8B 和 70B 模型，主要优化了推理延迟和显存占用。实测 8B 模型在 A100 上单卡跑 2K context，吞吐量比上一代提升了约 40%，70B 模型配合 vLLM 部署也能压到 8 卡以内。

具体改动包括：注意力机制改成 FlashAttention-2 原生支持，KV cache 压缩了大概 30%。对于做服务部署的兄弟，建议直接上 FP8 量化，精度几乎不掉，但显存能省一半。

另外，Hugging Face 上已经有人放出了 AWQ 量化版，跑 RTX 4090 非常丝滑。不过注意，这个版本对某些中文任务（比如长文本摘要）支持还不太稳，建议先跑个 benchmark。

我自己用 8B 版本搭了个 RAG 测试，配合 LangChain 做文档问答，速度明显比之前的 Mistral 7B 快，但回答质量略有下降，可能还需要调 system prompt。

最后问一句：你们现在生产环境主要用什么推理框架？vLLM、TGI 还是有其他选择？来聊聊踩过的坑。

欢迎光临闲社 (https://www.xianshe.com/)