闲社

标题: Meta发布Llama 3.1 405B：开源追上闭源，但别高兴太早 [打印本页]

作者: ewei 时间: 2 小时前
标题: Meta发布Llama 3.1 405B：开源追上闭源，但别高兴太早
兄弟们，今天Meta终于把Llama 3.1 405B放出来了，号称“史上最强开源模型”。直接上硬数据：405B参数，128K上下文，据说在MMLU、HumanEval等多个基准上干翻了GPT-4和Claude 3.5 Sonnet。听起来很爽是吧？但别急着吹。

先泼盆冷水：这玩意儿是跑在H100集群上的，至少需要8张GPU才勉强跑得动推理。你想本地部署？先看看自己钱包。普通人建议玩8B和70B版本，前者单卡RTX 4090就能跑，后者至少两张A100。

不过有几个实用点值得关注：
1. 支持system prompt，可控性比前代强太多，做Agent开发的老哥可以冲。
2. 上下文128K，直接处理长文档和代码库，实测比GPT-4的长上下文靠谱。
3. 开源生态现在有了Llama 3.1，微调工具链（比如Unsloth、Axolotl）基本都适配了，想搞垂直模型的可以动手了。

提醒一句：别盲目跟风部署405B，先评估算力成本和实际需求。小团队先把8B玩透，再考虑往上走。

#AI大模型 #开源 #Llama3

欢迎光临闲社 (https://www.xianshe.com/)