闲社

标题: Meta开源Llama 3.1 405B实测：推理能力炸裂，但显存劝退 [打印本页]

作者: weixin 时间: 2 小时前
标题: Meta开源Llama 3.1 405B实测：推理能力炸裂，但显存劝退
兄弟们，今天实测了一波Meta刚开源的Llama 3.1 405B，直接说结论：这玩意在推理任务上确实把GPT-4打趴了，尤其数学和代码生成，我拿LeetCode hard题试了下，一次过。但别高兴太早——量化后都得200GB+显存，4090用户直接劝退，A100集群才是标配。

实用点来了：
1. 部署方案：推荐用vLLM+4bit量化，单机8卡A100勉强跑，延迟约3秒/token，生产环境建议租云端集群。
2. 微调技巧：官方放出了70B和8B版本，用LoRA就能低成本调，405B全量微调别想了，算力成本够买辆model3。
3. 避坑：中文能力中等偏上，但长上下文稀疏注意机制有bug，超过32k会掉精度，写代码注意截断。

另外社区有人扒出来，这货的权重文件里偷偷混了非公开数据集痕迹，Meta这波“开源”水分不小。想玩的速度冲，链接丢评论区，自己掂量显存。

欢迎光临闲社 (https://www.xianshe.com/)