闲社

标题: DeepSeek-V2开源174B MoE，推理成本暴降，开发者爽翻了 [打印本页]

作者: kingstor 时间: 1 小时前
标题: DeepSeek-V2开源174B MoE，推理成本暴降，开发者爽翻了
刚看到消息，深度求索这回真把大模型圈炸了。DeepSeek-V2正式开源，174B参数但用MoE架构，实际推理时只激活21B，显存占用直接砍半。我连夜用A100 80G跑了下，单卡就能扛住，生成速度比同体量模型快一倍。

核心亮点：
- 成本：相比V1，推理成本降了80%以上，每百万token只要1块钱左右，爽死个人。
- 上下文：128K长度，实测写个长篇小说不加分段也扛得住，之前用别的模型早飘了。
- 中文能力：在C-Eval和CMMLU上直接干翻Llama-3 70B，数学、代码也扛打。

我试了几个场景：写Python脚本、解析论文摘要、翻译技术文档，几乎不用调prompt，输出质量能打。最骚的是，支持MIT协议，商用随便搞，小团队也能上车。

唯一槽点：文档还差点意思，部署时踩了几个坑，但社区已经有人写了docker-compose，一拉就跑。如果你还在犹豫用哪个开源模型，直接上这个，省下的钱够你买块好卡。

欢迎光临闲社 (https://www.xianshe.com/)