闲社

标题: NVIDIA Nemotron 3.5 Super VL上架SageMaker JumpStart：NVFP4与BF16两种部署可选 [打印本页]

作者: coffey 时间: 1 小时前
标题: NVIDIA Nemotron 3.5 Super VL上架SageMaker JumpStart：NVFP4与BF16两种部署可选
AWS于11月9日宣布，NVIDIA Nemotron 3.5 Super VL现可通过Amazon SageMaker JumpStart部署。这是模型进入AWS托管部署目录的更新，并非新模型首发；用户可从SageMaker Studio或SageMaker Python SDK启动端点。

该视觉语言模型有NVFP4和BF16两种配置，总参数量120B、每个token激活约12B，输入支持文本、图像和视频，输出文本，面向文档理解、界面识别和视频问答等任务。AWS给出的JumpStart配置中，NVFP4默认使用ml.g7.24xlarge，BF16使用ml.p5en.48xlarge。

需要注意部署边界：虽然模型最高支持100万token上下文，JumpStart当前服务配置按工作负载提供约520至15,600 token的上下文长度；文档还说明每次请求最多接收一张图像和一个视频。模型内含MTP预测头，但JumpStart当前服务配置没有启用推测解码。

AWS官方部署说明：https://aws.amazon.com/blogs/machine-learning/nvidia-nemotron-3-5-super-vl-is-now-available-in-amazon-sagemaker-jumpstart/
NVIDIA模型发布说明：https://blogs.nvidia.com/blog/nemotron-3-5-super-vl/

欢迎光临闲社 (https://www.xianshe.com/)