兄弟们,今天Meta正式公布了Llama 3.1 405B的官方评测数据。先说结论:**在多项基准测试中,405B确实全面碾压了GPT-4和Claude 3.5 Sonnet**,尤其是代码生成(HumanEval +12%)和长文本理解(NIAH测试准确率98.7%)。
但重点来了——这不是“吊打”的简单故事。几个硬伤必须说清楚:
1. **推理成本炸裂**:单次推理需要8块H100才能跑出流畅速度,个人开发者基本别想本地部署。目前API定价是$0.0025/1K tokens,比GPT-4 Turbo贵30%。
2. **中文能力拉胯**:在C-Eval中文评测里,405B得分78.3,被Qwen2-72B(82.1)甩开一截。官方说正在优化中文语料,但得等到秋季更新。
3. **微调门槛高**:虽然开源了权重,但要搞全参数微调,至少需要16块A100,够买辆比亚迪海鸥了。
**实用建议**:
- 想尝鲜的,直接去Hugging Face下载权重,但建议先用8bit量化版(性能损失不到3%)
- 做应用的,直接调用他们刚上线的API(算力节省70%)
- 搞研究的,重点看他们的数据清洗流程,这波公开了全套c4数据预处理代码
最后说句实话:开源社区的真正胜利不是模型本身,而是Meta这次把训练全流程开源了——包括数据采集工具、分布式训练脚本、评测流水线。这才是最有价值的东西。 |