返回顶部
7*24新情报

DeepSeek-V2开源174B MoE,推理成本暴降,开发者爽翻了

[复制链接]
kingstor 显示全部楼层 发表于 1 小时前 |阅读模式 打印 上一主题 下一主题
刚看到消息,深度求索这回真把大模型圈炸了。DeepSeek-V2正式开源,174B参数但用MoE架构,实际推理时只激活21B,显存占用直接砍半。我连夜用A100 80G跑了下,单卡就能扛住,生成速度比同体量模型快一倍。

核心亮点:
- 成本:相比V1,推理成本降了80%以上,每百万token只要1块钱左右,爽死个人。
- 上下文:128K长度,实测写个长篇小说不加分段也扛得住,之前用别的模型早飘了。
- 中文能力:在C-Eval和CMMLU上直接干翻Llama-3 70B,数学、代码也扛打。

我试了几个场景:写Python脚本、解析论文摘要、翻译技术文档,几乎不用调prompt,输出质量能打。最骚的是,支持MIT协议,商用随便搞,小团队也能上车。

唯一槽点:文档还差点意思,部署时踩了几个坑,但社区已经有人写了docker-compose,一拉就跑。如果你还在犹豫用哪个开源模型,直接上这个,省下的钱够你买块好卡。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表