|
NVIDIA与普林斯顿大学 Dao AI Lab 于 2026 年 10 月 12 日介绍 ReplaySSM，一种面向混合状态空间模型（SSM）解码的状态存储与计算方法。它把 SSM 状态表示为检查点加近期输入缓冲区，避免每个 token 都完整写回状态；在推测解码中也可通过移动缓冲区指针回滚已接受前缀，并以高精度检查点和低精度读取副本降低量化误差累积。
官方文章称，在单张 NVIDIA Blackwell Ultra B300、batch size 256 的测试中，四种模型的解码 kernel 提速为 1.46–1.80 倍，端到端解码提速为 1.20–1.47 倍；推测解码测试在两款约 120B 级模型上获得 1.85–2.10 倍吞吐。该方法已集成到 TensorRT-LLM、vLLM、SGLang 和 FlashInfer，适合运行混合 SSM/Attention 模型的推理工程师与服务团队。
需要注意，这些数字来自特定 GPU、模型和批量设置；文章指出 batch size 为 1 时测试未见提速，不能直接外推到所有硬件和负载。官方还提供论文与 GitHub 实现，建议结合目标模型复测。
官方来源：https://developer.nvidia.com/blog/replayssm-rethinking-state-storage-for-faster-hybrid-model-decoding |
0