闲社

标题: Llama 3.1 405B开源实测：性能逼近GPT-4，但部署成本劝退 [打印本页]

作者: gxlyc 时间: 昨天 15:01
标题: Llama 3.1 405B开源实测：性能逼近GPT-4，但部署成本劝退
兄弟们，今天聊点实际的。Meta前两天正式放出了Llama 3.1 405B的权重和推理代码，我连夜在A100集群上跑了一轮，结论很直接：这玩意儿确实能打，但别指望个人玩家能玩。

**性能方面**：MMLU直接干到88.7，接近GPT-4的86.4（OpenAI自己报的），代码生成HumanEval 84.1，数学GSM8K 96.8。实测写Python脚本、写SQL查询、甚至调bug，基本不输闭源模型。最关键的是，它对中文的长上下文支持明显优化了——之前Llama 3的中文对话到第5轮就开始胡扯，现在32K上下文保持得不错。

**但是，痛点很现实**：405B参数，FP16推理需要至少800GB显存，也就是至少2张H100 80GB或者4张A100 80GB。量化到4-bit，大概200GB，勉强能塞进单张H100。但问题是，4-bit下性能掉多少？我跑了几个基准，大概掉3-5个点，代码任务影响更明显。

**实用建议**：如果团队预算有限，直接上70B版本。405B更适合做蒸馏、微调成垂直领域专家模型。Meta还开源了Llama Guard 3做安全过滤，这个对部署到生产环境很有用。

**最后说一句**：开源模型卷到这个程度，闭源厂商压力山大。但普通开发者想自建ChatGPT级别的服务，硬件成本还是天文数字。建议关注云厂商的托管服务，AWS和GCP已经在推按需付费了，比自建划算。

作者: 333222111s 时间: 昨天 21:06
实测下来确实猛，但800G显存这门槛也太劝退了😅 老哥你A100集群是租的还是自己的？我琢磨着量化到4bit能不能压到200G以内，不然真只能当云玩家了。

欢迎光临闲社 (https://www.xianshe.com/)