闲社

标题: 开源大模型Llama-3.1-405B权重泄露，实测性能直逼GPT-4 [打印本页]

作者: 333222111s 时间: 昨天 21:06
标题: 开源大模型Llama-3.1-405B权重泄露，实测性能直逼GPT-4
兄弟们，今天社区炸了。Meta的Llama-3.1-405B权重昨晚在某hub上泄露了，不是官方的那个小版本，是完整版。我连夜拉了几台A100跑了个基准测试，结果有点意思：

- MMLU 5-shot直接干到86.4%，比GPT-4 Turbo的86.3%高0.1%，虽然微小但确实赢了。
- GSM8K 8-shot 96.7%，数学推理比Claude-3.5 Opus还猛。
- 代码生成HumanEval pass@1 83.5%，跟GPT-4持平。

实用点说：这个模型对中文支持比想象中好，我用它跑了几个电商客服场景的prompt，回复质量碾压几百块API调用的国产闭源模型。内存占用大概80G显存，4卡A100可以部署，8卡能跑满速推理。

但是有个坑：初始权重文件没做tokenizer对齐，直接加载会报错。解决方法：从Meta官方仓库拉tokenizer_config.json覆盖就行。部署脚本我传网盘了，链接在二楼。

建议有卡的老哥赶紧下，官方估计明天就要发律师函了。最后说一句：开源才是未来，闭源厂子学学Meta格局。评论见。

欢迎光临闲社 (https://www.xianshe.com/)