NVIDIA于2026年10月6日介绍CUDA 13.1的Green Contexts,让AI应用在单进程内显式隔离SM与workqueue资源,为延迟敏感推理或通信算子保留执行空间;官方Blackwell测试显示关键内核延迟下降,但资源隔离有吞吐代价,结果 ...
|
事件概述:NVIDIA 于 2026 年 10 月 6 日在官方技术博客介绍 CUDA 13.1 中的 Green Contexts(绿色上下文),让应用在同一进程内显式划分 GPU 执行资源,为延迟敏感的 AI 算子、通信内核和吞吐型后台任务设置不同资源分区。 对象与发布方:Green Contexts 是 NVIDIA CUDA 运行时与驱动 API 提供的 GPU 资源管理能力;官方文章作者为 Kyrylo Perelygin、Shelton Dsouza 和 Myrto Papadopoulou。驱动 API 自 CUDA 12.4 已有支持,CUDA 13.1 进一步开放运行时 API。 关键能力与改动:应用可把部分 SM(流式多处理器)和 workqueue 资源分配给独立的 green context,再从该 context 创建流,让内核明确落到指定资源,而不是依赖线程的隐含设备状态。这样可让多个工作负载并发执行,减少共享队列造成的意外串行化;既有程序仍可按传统方式使用整张 GPU,Green Contexts 是可选、增量接入的能力。 适用对象:同时运行模型推理、预处理、通信或其他实时算子的 AI 平台团队;需要在单进程内隔离多种 GPU 工作负载、追求更可预测时延的 CUDA 开发者。 实际影响:在官方给出的 Blackwell 148 个 SM 测试中,为关键内核划出 8 个 SM 并让批量任务使用其余资源时,关键内核延迟为 0.007 毫秒;同样任务使用默认上下文和高优先级流为 0.140 毫秒,默认上下文且同优先级为 3.727 毫秒。该机制的核心价值是避免关键内核等待已占用 SM 上的批量线程块释放。 限制与注意:资源隔离会把一部分 SM 让给关键任务,批量任务可用资源因此减少;需要 CUDA 13.1 或更高版本并结合实际 GPU、驱动与应用测试。上述数字来自特定 Blackwell 和合成负载,不能直接视为所有模型推理或集群的通用加速结果;应用仍需正确处理 CUDA 错误检查和同步。 官方来源:https://developer.nvidia.com/blog/control-how-your-gpu-shares-work-with-green-contexts/ |
0