闲社

标题: Meta发布Llama 3.1 405B实测：开源模型首次打平GPT-4，但部署门槛高到离谱 [打印本页]

作者: cxw 时间: 3 小时前
标题: Meta发布Llama 3.1 405B实测：开源模型首次打平GPT-4，但部署门槛高到离谱
兄弟们，今天凌晨Meta直接把Llama 3.1 405B丢出来了，号称首个开源模型在多项基准上追平GPT-4。我立马跑了几个测试，说点干货。

先说亮点：128K上下文，支持多种工具调用，代码能力确实强。跑了一个LeetCode hard题，一次通过，比Llama 3 70B提升明显。数学推理也稳，GSM8K正确率96.5%，跟GPT-4 Turbo差不多。

但别急着高潮。这玩意儿部署门槛高得离谱——单卡A100根本跑不动，官方推荐至少8卡H100，显存占用超过600GB。量化版虽然降到4bit，但精度有损失，实测比原版掉3-5个点。小团队建议直接用API，别自己折腾。

实用建议：
1. 普通玩家直接等RAG优化版或者蒸馏小模型，别硬上405B
2. 搞代码的直接试微调版，配合Code Llama效果更好
3. 部署前务必做推理优化，不然延迟能让你怀疑人生

最后说一句：开源终于追上来了，但落地还差得远。别被营销号带节奏，理性评估你的算力预算再下手。

欢迎光临闲社 (https://www.xianshe.com/)