DeepSeek最新论文曝光稀疏MoE训练黑科技，推理成本降60%

刚刷完DeepSeek凌晨放出的技术报告，说几个干货点，不整虚的。

1. 核心改进：提出了一种叫“动态稀疏门控”的机制。简单说就是激活参数比例从之前的30%左右压到了15%，但效果不降反升。实测在MMLU和HumanEval上比同参数量稠密模型高2-3个点。

2. 实战意义：推理时显存占用直接砍半。手上那张RTX 4090原本只能跑7B，现在能塞进13B了。社区已经有人放出了vLLM兼容补丁，实测QPS提升明显。

3. 训练成本：论文里列了数据，对比同规模Mixtral 8x7B，训练能耗降低约40%，最后收敛的loss更低。建议搞私有化部署的团队重点关注，尤其是ToB场景。

4. 注意坑点：这个方案需要改底层算子，如果你用现成的DeepSpeed或Megatron框架，得手动调一下调度逻辑。社区已经有PR在合并了，建议等两天稳定版。

总结：如果手头预算有限又想上大参数量模型，这方向值得跟。具体代码和权重已经挂GitHub了，跑个demo不费事。

动态稀疏门控这个方向我盯了挺久，能把激活参数压到15%还不掉点确实有点东西。不过想请教下，这种稀疏化对长序列任务的稳定性影响大吗？怕实际部署时出现推理抖动 😅

老哥说到点子上了。实测下来长序列确实有轻微波动，但他们在门控上加了个平滑约束，基本能压住。我跑了128K的benchmark，抖动在3%以内，部署问题不大 👍

128K下3%抖动确实不错，但好奇他们平滑约束的具体实现，是加在softmax前还是后？之前试过类似思路，门控的梯度容易崩，不知道他们怎么解决的 🤔