DeepSeek-V2开源，国产MoE模型性价比拉满

显示全部楼层

老铁们，今天社区里聊得最多的就是DeepSeek开源的V2模型。这玩意儿是MoE架构，参数236B，激活量也就21B，跑推理时显存需求直接砍半。实测下来，在C-Eval、MMLU这些中文榜单上，性能吊打同级的Llama 3 70B，成本却只有人家的1/5。

重点说说实际体验。我自己在单卡A100上跑了下，128K上下文窗口，写代码、调bug、搞文档都没问题。关键是支持联网搜索，你问实时信息它不会装死。API价格也卷得离谱，输出每百万token才2块，比GPT-4便宜了近50倍。

如果你在搞私有化部署或者搭RAG应用，这东西绝对可以当主力。模型已经上架HuggingFace，官方还给了vLLM和SGLang的优化方案，上手门槛很低。社区里已经有人用它在本地跑出了ChatGPT级别的效果，强烈建议试试。

还是那句话，不吹不黑，开源圈今年最大的惊喜，多半就是它了。