闲社

标题: Meta发布Llama 3.1 405B开源，实测性能直逼GPT-4 [打印本页]

作者: wea530 时间: 昨天 15:31
标题: Meta发布Llama 3.1 405B开源，实测性能直逼GPT-4
兄弟们，今天Meta放了个大招，Llama 3.1 405B正式开源了。这是目前最大的开源模型，参数规模直接拉满到4050亿，而且支持128K上下文窗口。实测下来，在MMLU、HumanEval这些基准上，已经跟GPT-4 Turbo打平，部分任务甚至略胜。

重点说几个实用点：

1. 部署门槛：别看参数大，Meta优化了推理效率，单卡H100也能跑起来（量化后）。推荐用vLLM框架，吞吐量表现不错。

2. 中文能力：比上一代提升明显，写代码、做翻译、处理长文档都挺稳。测试了5K字的论文摘要，逻辑没丢。

3. 社区生态：Hugging Face上已经有量化版和LoRA微调方案了。想自己训练的，用Unsloth可以省70%显存。

4. 坑：405B版本对显存还是太狠，个人开发建议先用8B或70B版本练手。405B适合有集群的团队。

最后说一句：开源圈终于有能硬刚闭源模型的选手了，Llama 3.1值得蹲一波社区优化。不过别急着吹，跑起来再说。

欢迎光临闲社 (https://www.xianshe.com/)