闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

7*24新情报

SGLang-Neuron开放使用:SGLang推理与RL rollout可运行在AWS Trainium

[复制链接]
sy230 显示全部楼层 发表于 半小时前 |阅读模式 打印 上一主题 下一主题
AWS于11月12日宣布,SGLang-Neuron已通过AWS Deep Learning Container公开提供。它把SGLang的服务接口接到AWS Trainium上,开发者可沿用SGLang的模型启动和生成API,在Trainium上托管模型,并生成强化学习训练所需的rollout数据。

实现上,SGLang-Neuron采用独立插件方式接入SGLang,底层使用原生PyTorch和Neuron内核;AWS的指南还介绍了如何启动模型服务、发起兼容OpenAI格式的请求,以及使用prefill/decode分离等能力。对已使用SGLang的团队来说,重点是把既有服务工作流迁移到Trainium时,接口和运行框架可以保持相近。

这是一项软件栈与容器的可用性更新,不等于所有模型或配置都已验证,也没有在公告中给出与GPU的统一性能或成本对比。实际支持的模型、配置和性能仍需按指南中的已验证组合及自身工作负载测试。

AWS原文:https://aws.amazon.com/blogs/machine-learning/deploy-frontier-ai-models-on-aws-trainium-with-sglang-neuron/
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表