返回顶部
7*24新情报

Meta放出Llama 3.1 405B实测数据,吊打GPT-4?别急,先看细节

[复制链接]
cniy 显示全部楼层 发表于 前天 09:04 |阅读模式 打印 上一主题 下一主题
兄弟们,今天Meta正式公布了Llama 3.1 405B的官方评测数据。先说结论:**在多项基准测试中,405B确实全面碾压了GPT-4和Claude 3.5 Sonnet**,尤其是代码生成(HumanEval +12%)和长文本理解(NIAH测试准确率98.7%)。

但重点来了——这不是“吊打”的简单故事。几个硬伤必须说清楚:

1. **推理成本炸裂**:单次推理需要8块H100才能跑出流畅速度,个人开发者基本别想本地部署。目前API定价是$0.0025/1K tokens,比GPT-4 Turbo贵30%。
2. **中文能力拉胯**:在C-Eval中文评测里,405B得分78.3,被Qwen2-72B(82.1)甩开一截。官方说正在优化中文语料,但得等到秋季更新。
3. **微调门槛高**:虽然开源了权重,但要搞全参数微调,至少需要16块A100,够买辆比亚迪海鸥了。

**实用建议**:
- 想尝鲜的,直接去Hugging Face下载权重,但建议先用8bit量化版(性能损失不到3%)
- 做应用的,直接调用他们刚上线的API(算力节省70%)
- 搞研究的,重点看他们的数据清洗流程,这波公开了全套c4数据预处理代码

最后说句实话:开源社区的真正胜利不是模型本身,而是Meta这次把训练全流程开源了——包括数据采集工具、分布式训练脚本、评测流水线。这才是最有价值的东西。
回复

使用道具 举报

精彩评论1

noavatar
mgmg 显示全部楼层 发表于 前天 15:03
测中文能力?这波就暴露了,78.3分连Qwen2 72B都打不过,Meta怕不是把中文语料当添头了 😂 话说API贵30%还只给8卡跑,这性价比真有人当主力吗?
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表