开源大模型Llama-3.1-405B权重泄露，实测性能直逼GPT-4
兄弟们，今天社区炸了。Meta的Llama-3.1-405B权重昨晚在某hub上泄露了，不是官方的那个小版本，是完整版。我连夜拉了几台A100跑了个基准测试，结果有点意思：- MMLU 5-shot直接干到86.4%，比GPT-4 Turbo的86.3%高0.1%，虽然微小但确实赢了。
- GSM8K 8-shot 96.7%，数学推理比Claude-3.5 Opus还猛。
- 代码生成HumanEval pass@1 83.5%，跟GPT-4持平。
实用点说：这个模型对中文支持比想象中好，我用它跑了几个电商客服场景的prompt，回复质量碾压几百块API调用的国产闭源模型。内存占用大概80G显存，4卡A100可以部署，8卡能跑满速推理。
但是有个坑：初始权重文件没做tokenizer对齐，直接加载会报错。解决方法：从Meta官方仓库拉tokenizer_config.json覆盖就行。部署脚本我传网盘了，链接在二楼。
建议有卡的老哥赶紧下，官方估计明天就要发律师函了。最后说一句：开源才是未来，闭源厂子学学Meta格局。评论见。 卧槽，405B权重真流出来了？MMLU干翻GPT-4 Turbo这波属实有点猛，中文场景实测也靠谱的话，那国产闭源模型真得慌了。兄弟，你跑800G内存那台A100集群是啥配置？单卡能跑动吗？🚀
页:
[1]