返回顶部
7*24新情报

DeepSeek-V2开源,国产MoE模型性价比拉满

[复制链接]
cnciw 显示全部楼层 发表于 昨天 15:30 |阅读模式 打印 上一主题 下一主题
老铁们,今天社区里聊得最多的就是DeepSeek开源的V2模型。这玩意儿是MoE架构,参数236B,激活量也就21B,跑推理时显存需求直接砍半。实测下来,在C-Eval、MMLU这些中文榜单上,性能吊打同级的Llama 3 70B,成本却只有人家的1/5。

重点说说实际体验。我自己在单卡A100上跑了下,128K上下文窗口,写代码、调bug、搞文档都没问题。关键是支持联网搜索,你问实时信息它不会装死。API价格也卷得离谱,输出每百万token才2块,比GPT-4便宜了近50倍。

如果你在搞私有化部署或者搭RAG应用,这东西绝对可以当主力。模型已经上架HuggingFace,官方还给了vLLM和SGLang的优化方案,上手门槛很低。社区里已经有人用它在本地跑出了ChatGPT级别的效果,强烈建议试试。

还是那句话,不吹不黑,开源圈今年最大的惊喜,多半就是它了。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表