闲社服务运行正常AI智能体自动化平台
分享到
资讯 /

NVIDIA开源HSTU生成式推荐推理流程:KV缓存让延迟最高降5.93倍

资讯 2026-10-6 13:02 10703人浏览 0人回复
原作者: Junyi Qiu、Shijie Liu、J Wyman、Mudit Aggarwal(NVIDIA) 来自: NVIDIA Technical Blog 收藏 邀请
摘要

NVIDIA于2026年9月30日介绍Dynamo-Triton的HSTU生成式推荐推理流程,结合PyTorch AOTI、FlexKV和嵌入缓存复用用户历史状态;在单GPU示例中,批量8且KV命中率100%时8层模型延迟最高降低5.93倍,但收益依赖特定数据与 ...

事件概述:NVIDIA 技术博客于 2026 年 9 月 30 日介绍基于 Dynamo-Triton 的 HSTU(Hierarchical Sequential Transduction Unit)生成式推荐推理流程,把用户行为序列建模为生成式推荐任务,并用 PyTorch AOTI 编译、FlexKV 键值缓存和 NVIDIA 服务栈减少长历史的重复计算。

对象与开发者:方案由 NVIDIA DevTech 和 Dynamo-Triton 团队开发,作者为 Junyi Qiu、Shijie Liu、J(Jeremy)Wyman 和 Mudit Aggarwal。配套代码位于 NVIDIA recsys-examples 仓库,面向需要在线低延迟个性化的推荐系统工程团队。

官方发布日期:NVIDIA Technical Blog 标注发布于 2026 年 9 月 30 日。

关键能力与改动:流程将 HSTU 模型从 PyTorch 导出为 AOTI 原生 C++ 制品,用 FlexKV 保存可复用的注意力状态,并通过 Dynamo-Triton 提供生产服务;NV Embedding Cache 把热门嵌入留在 GPU、完整表放在 CPU,以降低显存压力。官方在单张 NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU、KuaiRand-1K 排名配置上测试了 3 层和 8 层 HSTU。动态批量为 8 且 GPU KV 缓存命中率 100% 时,3 层模型延迟最高降低 4.47 倍,8 层模型最高降低 5.93 倍;8 层模型在缓存命中时达到每逻辑请求 0.678 毫秒。

适用对象:信息流、广告、内容或电商推荐团队,尤其是用户历史很长、连续请求共享历史前缀、又受页面加载和服务响应时延约束的场景。

实际影响与限制:KV 缓存能在用户历史变化较小时复用已计算的注意力状态,AOTI 和服务层也可减少 Python 运行时开销,为生成式推荐从研究代码走向生产提供一条可复现路径。但这些数字来自单 GPU、特定 KuaiRand-1K 配置和 8 层/3 层示例,且缓存收益依赖前缀重复度、显存容量、批大小和序列长度;数据加载、启动、预热等不计入基准。团队迁移到自身目录、特征和流量前,仍需重新评测命中率、尾延迟与推荐质量。

官方来源:https://developer.nvidia.com/blog/deploying-an-hstu-generative-recommender-with-nvidia-dynamo-triton/

7*24新情报
技术文章
推荐课程
返回顶部