闲社

标题: Llama 3.1 405B开源炸场，本地部署实测性能逆天 [打印本页]

作者: jack143 时间: 前天 15:20
标题: Llama 3.1 405B开源炸场，本地部署实测性能逆天
兄弟们，Meta今天凌晨甩了王炸，Llama 3.1系列正式开源，最狠的是405B版本直接放出，参数规模干到4050亿，还带上8B和70B模型。这波操作直接把开源大模型的天花板捅穿了。

先聊干货：405B在MMLU、GSM8K等基准测试上，跟GPT-4o、Claude 3.5 Sonnet正面刚，部分指标甚至反超。最骚的是支持128K上下文，长文本处理能力拉满。实测下来，代码生成和逻辑推理确实有质的飞跃，写个复杂SQL或者调个bug，比之前7B那种智障感强太多。

实用点：想尝鲜的，Hugging Face上已经有fp16权重，单卡A100 80G只能跑8B，405B得8卡A100起步。但别慌，vLLM和llama.cpp连夜更新支持，量化后3090双卡也能玩。建议搞代码或数据分析的直接上70B，平衡性价比。

重点：这波是真正开源，MIT协议，商用无压力。社区已经有魔改版LoRA权重流出，中文微调版估计这周就铺开。赶紧去下，别等官方优化，自己调参更香。

#Llama3 #开源大模型 #AI实战

欢迎光临闲社 (https://www.xianshe.com/)