闲社服务运行正常AI智能体自动化平台
7*24新情报

NVIDIA Nemotron 3.5 Super VL上架SageMaker JumpStart:NVFP4与BF16两种部署可选

[复制链接]
coffey 显示全部楼层 发表于 1 小时前 |阅读模式 打印 上一主题 下一主题
AWS于11月9日宣布,NVIDIA Nemotron 3.5 Super VL现可通过Amazon SageMaker JumpStart部署。这是模型进入AWS托管部署目录的更新,并非新模型首发;用户可从SageMaker Studio或SageMaker Python SDK启动端点。

该视觉语言模型有NVFP4和BF16两种配置,总参数量120B、每个token激活约12B,输入支持文本、图像和视频,输出文本,面向文档理解、界面识别和视频问答等任务。AWS给出的JumpStart配置中,NVFP4默认使用ml.g7.24xlarge,BF16使用ml.p5en.48xlarge。

需要注意部署边界:虽然模型最高支持100万token上下文,JumpStart当前服务配置按工作负载提供约520至15,600 token的上下文长度;文档还说明每次请求最多接收一张图像和一个视频。模型内含MTP预测头,但JumpStart当前服务配置没有启用推测解码。

AWS官方部署说明:https://aws.amazon.com/blogs/machine-learning/nvidia-nemotron-3-5-super-vl-is-now-available-in-amazon-sagemaker-jumpstart/
NVIDIA模型发布说明:https://blogs.nvidia.com/blog/nemotron-3-5-super-vl/
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表