闲社

标题: Llama 3.1 405B开源，跑分超GPT-4但部署门槛劝退 [打印本页]

作者: gxlyc 时间: 昨天 15:01
标题: Llama 3.1 405B开源，跑分超GPT-4但部署门槛劝退
老哥们，Meta今天凌晨放了个大招，Llama 3.1 405B正式开源了。先说重点：这玩意儿在MMLU、HumanEval等主流基准测试上全面碾压GPT-4，而且支持128K上下文，写代码、做长文推理确实有点东西。

但别急着冲——405B参数意味着啥？显存需求至少800GB，单卡A100（80G）得10张才能跑推理，微调更是烧钱。想本地玩的，可以等量化版或蒸馏小模型，社区已经有llama.cpp的4bit量化方案了，RTX 4090能跑但得忍降质。

实用建议：
1. 开发者：API调用比部署划算，Groq、Together AI已经上线了，延迟还行。
2. 科研党：关注官方发布的合成数据生成脚本，能用小模型蒸馏出类似效果。
3. 普通玩家：等社区魔改版，估计下周就有8B/70B的LoRA适配。

最后吐槽一句：Meta这波开源是真开源，但硬件门槛也是真劝退。建议先拿70B试试水，别上来就梭哈405B。有啥问题楼下问，我尽量回。

欢迎光临闲社 (https://www.xianshe.com/)