闲社

标题: Llama 3.1 405B部署实录：显存炸裂？谈谈资源优化和实用技巧 [打印本页]

作者: bibylove 时间: 4 天前
标题: Llama 3.1 405B部署实录：显存炸裂？谈谈资源优化和实用技巧
兄弟们，最近Meta的Llama 3.1 405B开源了，号称地表最强开源模型。我第一时间搞了个8卡A100部署，结果发现显存直接炸到380GB，推理延迟卡成PPT。今天聊聊几个实用技巧：

1️⃣ **模型量化起步**：别直接上BF16。405B用4bit AWQ量化后显存降到200GB左右，4卡A100就能跑，精度损失可接受。FP8在H100上效率更高，但少显存。

2️⃣ **部署工具选择**：vLLM和TGI都支持405B，但vLLM的PagedAttention对长上下文更友好。我用vLLM + 4卡配置，单次推理延迟从15秒压到3.5秒，吞吐量提升4倍。

3️⃣ **内存优化坑**：注意batch size别太大，2-4最稳。用Flash Attention 2和Continuous Batching，显存碎片减少20%。

4️⃣ **实际效果**：代码生成比GPT-4强一档，但中文理解偏弱。如果想中文场景，建议用Qwen2-72B或DeepSeek-V2，性价比更高。

最后抛个问题：你们部署405B时遇到过什么奇葩bug？是显存溢出还是模型冻结？评论区分享下经验，一起踩坑。

欢迎光临闲社 (https://www.xianshe.com/)