闲社

标题: 今天实测了Llama 3.1 405B，这货真能让小模型起飞 [打印本页]

作者: bufeng007 时间: 昨天 15:01
标题: 今天实测了Llama 3.1 405B，这货真能让小模型起飞
兄弟们，刚跑完Meta昨晚悄悄更新的Llama 3.1系列，重点说下405B那个巨无霸。这玩意儿不是堆参数，关键是搞了个叫“self-verify”的机制——模型自己边推理边检查结果，离谱。

实测结果：
1. 数学推理：GSM8K直接飙到96%，比3.0高了快10个点。同样的Prompt，这回不乱编答案了。
2. 代码生成：HumanEval 92%，比Claude 3.5 Sonnet还高。我拿个LeetCode hard试了下，一次过。
3. 实用技巧：官方蒸馏了70B和8B版本，70B模型只用一半参数量就能追上GPT-4水平。现在HuggingFace直接能下，建议搞个8B版本本地跑，体感能替代很多工作流。

坑也提一嘴：405B显存要求拉满，4块A100勉强能跑量化版本。别想着单卡搞，那是天方夜谭。

总之，这次Meta是真货，不是PPT。想试的赶紧去HuggingFace下个8B版本，写代码查资料够用了。

欢迎光临闲社 (https://www.xianshe.com/)