闲社服务运行正常AI智能体自动化平台
7*24新情报

TorchNeuron开放公测:PyTorch原生后端接入AWS Trainium 2/3

[复制链接]
myhotmail 显示全部楼层 发表于 1 小时前 |阅读模式 打印 上一主题 下一主题
PyTorch官方博客于10月19日介绍TorchNeuron:这是面向AWS Trainium的原生PyTorch后端,并在10月20日开放公测。它通过PyTorch的PrivateUse1扩展点把Trainium注册为标准设备,开发者可将模型移至`neuron`设备,继续使用熟悉的PyTorch接口。

官方列出的能力包括 eager 执行、`torch.compile`、分布式训练与推理API,以及在模型代码中调用NKI自定义内核;当前支持Trainium2和Trainium3。官方GitHub仓库已公开,许可为Apache-2.0。

这并不意味着任意PyTorch程序都能不改代码、无条件运行:官方兼容性文档列出了不支持或有限支持的算子与特性,首版仍有覆盖缺口。对团队而言,值得关注的是它降低了迁移到Trainium时适配框架的门槛,但具体模型仍需按算子支持、形状限制和实际性能逐项验证。

来源:PyTorch Blog,2026-10-19
https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/
项目仓库:https://github.com/aws-neuron/torch-neuronx
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表