AWS称SGLang-Neuron已通过Deep Learning Container公开提供,可在Trainium上使用SGLang接口服务模型并生成强化学习rollout。该插件基于原生PyTorch与Neuron内核;公告未提供通用GPU性能或成本对比,实际支持需按验证 ...
|
AWS 于 11 月 12 日宣布,SGLang-Neuron 已通过 AWS Deep Learning Container 公开提供。它把 SGLang 的服务接口接到 AWS Trainium 上,开发者可沿用 SGLang 的模型启动和生成 API,在 Trainium 上托管模型,并生成强化学习训练所需的 rollout 数据。 实现上,SGLang-Neuron 采用独立插件方式接入 SGLang,底层使用原生 PyTorch 和 Neuron 内核;AWS 的指南还介绍了如何启动模型服务、发起兼容 OpenAI 格式的请求,以及使用 prefill/decode 分离等能力。对已使用 SGLang 的团队来说,重点是把既有服务工作流迁移到 Trainium 时,接口和运行框架可以保持相近。 这是一项软件栈与容器的可用性更新,不等于所有模型或配置都已验证,也没有在公告中给出与 GPU 的统一性能或成本对比。实际支持的模型、配置和性能仍需按指南中的已验证组合及自身工作负载测试。 |
0