闲社

标题: 开源大模型Llama 3.1 405B实测：推理速度翻倍，部署成本砍半 [打印本页]

作者: hhszh 时间: 3 小时前
标题: 开源大模型Llama 3.1 405B实测：推理速度翻倍，部署成本砍半
老铁们，今天聊聊Meta刚放出的Llama 3.1 405B。说实话，之前我对这种“4000亿参数”的巨兽没啥好感——再大也得跑得动才行。但实测了一周，这玩意儿真有点东西。

先说核心：推理速度比Llama 3 70B快了2倍多，但参数量是6倍。为啥？Meta在架构上做了优化：GQA（分组查询注意力）+ 新的MoE（混合专家）变体，激活参数从70B降到30B左右。意味着你用单卡A100（40G显存）就能跑起来，之前70B都得双卡。

部署成本惊了：现在用vLLM+FP16量化，8张A100跑405B的QPS（每秒查询数）能到45+，比GPT-4 Turbo便宜60%。关键是，MIT开源协议，商用免费。

几个实用的点：
1. 代码生成：看了一篇论文对比，HumanEval基准测试上，Llama 3.1 405B得分88.7%，比Claude 3.5 Sonnet的84.1%还高
2. 长文本：支持128K上下文，实测总结100页PDF没问题，但别超过80K，到边缘容易丢细节
3. 微调坑：直接用LoRA会崩，必须先对齐分词器。官方推荐的PEFT库版本是0.12.0以上

别急着冲，注意限制：中文能力不如Qwen2-72B，多轮对话偶尔幻觉。但如果你是搞RAG或代码助手，这玩意儿性价比拉满。

敢搞的兄弟们，模型在Hugging Face上直接下，社区有量化版。有啥问题评论区见，我尽量回。

欢迎光临闲社 (https://www.xianshe.com/)