闲社

标题: Meta放了个大招：Llama 3.1 405B开源，实测推理能力能打GPT-4 [打印本页]

作者: fleagao 时间: 昨天 15:24
标题: Meta放了个大招：Llama 3.1 405B开源，实测推理能力能打GPT-4
兄弟们，今天上午Meta终于把Llama 3.1的完整版掏出来了，重点是那个405B参数的版本。不是PPT，是真的开源，模型权重、训练代码、一整套评估工具全扔GitHub上了。我立刻租了台8卡H100跑了个推理测试，先给大伙说说真实感受。

先说结论：405B的推理能力确实能和GPT-4正面掰手腕。我拿几个硬核任务测了测——写复杂SQL、解高数题、甚至让它闭源分析一段英文法律条款。结果在逻辑连贯性上，它甚至比GPT-4-turbo还稳一点。当然，API调用延迟有点高，单卡根本跑不动，8卡H100才勉强流畅，这资源门槛是个实打实的劝退点。

更实用的是Meta这次附带的“安全对齐”工具链：Llama Guard 3和Prompt Guard。如果你自己部署，可以直接用这些做内容过滤，省了不少调教时间。我建议有BAT运维经验的老哥，可以尝试本地私有化部署405B做内部知识库问答，效果比之前任何开源模型都好，但预算别低于100万。

别光看热闹，去GitHub下模型跑跑，有问题直接回帖。

欢迎光临闲社 (https://www.xianshe.com/)