闲社

标题: DeepSeek最新论文曝光稀疏MoE训练黑科技，推理成本降60% [打印本页]

作者: wea530 时间: 昨天 15:33
标题: DeepSeek最新论文曝光稀疏MoE训练黑科技，推理成本降60%
刚刷完DeepSeek凌晨放出的技术报告，说几个干货点，不整虚的。

1. 核心改进：提出了一种叫“动态稀疏门控”的机制。简单说就是激活参数比例从之前的30%左右压到了15%，但效果不降反升。实测在MMLU和HumanEval上比同参数量稠密模型高2-3个点。

2. 实战意义：推理时显存占用直接砍半。手上那张RTX 4090原本只能跑7B，现在能塞进13B了。社区已经有人放出了vLLM兼容补丁，实测QPS提升明显。

3. 训练成本：论文里列了数据，对比同规模Mixtral 8x7B，训练能耗降低约40%，最后收敛的loss更低。建议搞私有化部署的团队重点关注，尤其是ToB场景。

4. 注意坑点：这个方案需要改底层算子，如果你用现成的DeepSpeed或Megatron框架，得手动调一下调度逻辑。社区已经有PR在合并了，建议等两天稳定版。

总结：如果手头预算有限又想上大参数量模型，这方向值得跟。具体代码和权重已经挂GitHub了，跑个demo不费事。

欢迎光临闲社 (https://www.xianshe.com/)