|
DeepSeek 在官方 deepseek-ai GitHub 组织下开源了 DeepInfer，定位为面向 DeepSeek 模型的大规模推理框架。仓库称该框架用于其生产服务，并开放离线推理所需的核心组件；当前列出的支持模型是 DeepSeek-V4.1-Flash。
仓库列出的能力包括优化内核、Attention DP / balanced CP 与 MoE EP、异步批处理调度、确定性采样、结构化输出，以及 DSpark 和置信度调度验证等。当前列出的硬件支持为 NVIDIA SM100 GPU 与华为昇腾 950 NPU，项目采用 Apache-2.0 许可证。
需要注意边界：此次开放内容不是完整的在线推理服务。仓库明确列出尚未包含 KV cache 系统、Prefill/Decode 解耦，以及数据并行副本间的负载均衡。因此它为开发者提供了运行与研究推理栈的起点，但不能据此认为整个线上服务基础设施已经开源或可直接复刻。
来源：DeepSeek 官方 GitHub 仓库
https://github.com/deepseek-ai/DeepInfer |
0