NVIDIA提出Reshard Collective：NeMo RL大模型权重回填提速2.7至5.7倍

NVIDIA技术博客11月6日介绍了用于强化学习后训练的Reshard Collective，目标是加快训练GPU与推理GPU之间的模型权重回填（refit）。训练和推理通常采用不同的并行布局；传统的聚合再广播会产生冗余通信。Reshard把过程改写为源、目标张量布局之间的直接分片传输，按分片交集搬运所需数据。 NVIDIA在NeMo RL及DGX H100、DGX GB200上的测试显示，相比传统 gather-and-broadcast，Reshard在所列配置中快2.7至5.7倍。例如，Qwen 3 235B的回填延迟从6.4秒降至1.9秒；DeepSeek v3 671B在DGX GB200上的测试从6.1秒降至2.3秒。另一个仅测回填阶段的微基准中，Qwen 3.8 2.4T BF16用时4.3秒。 这类优化针对RL训练中频繁同步权重的通信开销，尤其适用于训练、推理并行切分方式不同的大模型。上述数字来自NVIDIA给出的特定系统和配置基准，不代表所有模型或集群都能获得相同加速；端到端收益还取决于训练流程中的其他耗时。 官方技术说明：https://developer.nvidia.com/blog/accelerating-reinforcement-learning-weight-refit-with-the-reshard-collective/