All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

Updates around the clock

SGLang-Neuron开放使用:SGLang推理与RL rollout可运行在AWS Trainium

[Copy link]
sy230 显示全部楼层 发表于 半小时前 |Reading mode Print Previous topic Next topic
AWS于11月12日宣布,SGLang-Neuron已通过AWS Deep Learning Container公开提供。它把SGLang的服务接口接到AWS Trainium上,开发者可沿用SGLang的模型启动和生成API,在Trainium上托管模型,并生成强化学习训练所需的rollout数据。

实现上,SGLang-Neuron采用独立插件方式接入SGLang,底层使用原生PyTorch和Neuron内核;AWS的指南还介绍了如何启动模型服务、发起兼容OpenAI格式的请求,以及使用prefill/decode分离等能力。对已使用SGLang的团队来说,重点是把既有服务工作流迁移到Trainium时,接口和运行框架可以保持相近。

这是一项软件栈与容器的可用性更新,不等于所有模型或配置都已验证,也没有在公告中给出与GPU的统一性能或成本对比。实际支持的模型、配置和性能仍需按指南中的已验证组合及自身工作负载测试。

AWS原文:https://aws.amazon.com/blogs/machine-learning/deploy-frontier-ai-models-on-aws-trainium-with-sglang-neuron/
Reply

Use item Report

Board points rules

Quick reply Back to top Back to list