闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

ICE-VLA

PhoenixW/ICE-VLA

发布机构PhoenixW

下载访问条件魔搭来源

面向 Piper-X 双臂桌面操作的多视角视觉-语言-动作模型 [](https://modelscope.cn/models/PhoenixW/ICE-VLA) [](https://modelscope.cn/models/Dexmal/DM05)

具身智能
模型详情

模型介绍

中文整理

ICE-VLA

面向 Piper-X 双臂桌面操作的多视角视觉-语言-动作模型**

[](https://modelscope.cn/models/PhoenixW/ICE-VLA)

[](https://modelscope.cn/models/Dexmal/DM05)

[](https://github.com/dexmal/opendm/blob/main/docs/en/dm05 so101 lora training.md)

[](https://github.com/agilexrobotics/piper sdk)

[](#版本与制品状态)

ICE-VLA 基于 DM0.5 进行参数高效监督后训练,将自然语言指令、头部相机、左右腕相机和双臂本体状态映射为连续动作序列。当前版本面向 Piper-X 双臂平台,输入 3 路 RGB 与 14 维机器人状态,每次生成 50 步、每步 14 维的绝对关节与夹爪目标。

本仓库发布的是 **DM0.5 基座文件与 ICE-VLA LoRA adapter**,不是一个包含机器人驱动、相机采集和安全控制的一键式应用。真实机器人部署前,请完整阅读部署与安全边界。

导航

30 秒了解模型

版本与制品状态

模型接口

数据与后训练

部署

评测建议

教程与参考资料

限制与安全

30 秒了解模型

项目 ICE-VLA 当前实现

  • -- ---

基础模型 DM0.5;工程标识为 DM05

后训练方式 LoRA SFT,沿用 DM0.5 的 Flow Matching 动作训练路径

目标平台 Piper-X 双臂;每臂 6 个关节 + 1 个夹爪通道

视觉输入 头部、左腕、右腕 3 路 RGB;processor 配置为 448 x 448

状态输入 14 维,顺序见动作与状态协议

动作输出 [50, 14] 绝对目标动作块

数据规模 600 条示范、666,002 帧;训练时间网格声明为 25 Hz

数据策略 对右臂活跃阶段进行确定性局部起点重加权

训练状态 15,000 步训练已完成

当前公开 adapter checkpoints/lora15k-10000 ,对应 10,000 步制品

当前训练范式 无 rollout 的监督后训练;不是 RL 或 RECAP 成果

模型页参数量 ModelScope 元数据显示 6.2B;本项目未独立复算

核心特点

  • **全局与局部视觉协同**:头部视角观察桌面布局,左右腕视角补充末端附近细节。
  • **双臂统一动作空间**:在同一个 14 维空间内预测左右臂关节和夹爪目标。
  • **面向不均衡示范的采样策略**:提高右臂活跃阶段作为训练起点的出现频率,同时保留原始动作顺序。
  • **模型与执行系统分层**:模型预测、RTC 连续性处理、动作发送节奏和夹爪规则可分别审计。

版本与制品状态

训练步数、曾部署版本和当前公开制品不是同一个概念:

状态 已核验信息 含义

  • -- --- ---

训练运行 15000/15000 已完成 说明训练任务到达目标步数

曾核验的服务 加载 lora15k checkpoint-11000 说明某次服务快照使用 11,000 步检查点

当前公开仓库 checkpoints/lora15k-10000 用户当前可下载的是 10,000 步 adapter

因此,本文不把 10k、11k 或 15k 中的任一版本称为“最优检查点”。发布正式评测时,应同时记录检查点目录、权重 SHA-256、OpenDM 提交、归一化文件和部署配置。

仓库内容

请使用 Git LFS 或 ModelScope SDK 下载。普通 git clone 在未安装 Git LFS 时只会得到指针文件,而不是完整权重。

能力范围

训练数据覆盖六类桌面任务:

任务 ID 任务内容

  • -- ---

fill pen holder 操作笔筒并将笔放入其中

充电连接(调度 ID 待核验) 将插头插入插线板,再连接充电线

put objects into basket 将桌面物品放入篮子

stack and cover blocks 堆叠积木并用杯子覆盖

stack bowls 叠放碗

stand up bottles 将瓶子立起

这些任务覆盖接近、抓取、搬运、放置、容器操作与接触操作。训练覆盖只表示模型接受过相应监督,不等同于稳定成功率,也不代表模型可执行任意自然语言指令。

模型接口

观测输入

输入 约束

  • -- ---

文本 与训练任务分布一致的自然语言指令

图像 1 Head ,桌面全局视角

图像 2 Left wrist ,左腕局部视角

图像 3 Right wrist ,右腕局部视角

状态 14 维当前机器人状态

robot type PiperX ;用于选择匹配的归一化配置

相机数量、顺序和语义必须与训练配置一致。当前 processor 文件声明图像缩放到 448 x 448 ,归一化均值和标准差均为 [0.5, 0.5, 0.5] 。

动作与状态协议

状态与动作向量使用相同的通道顺序:

输出形状: [50, 14] 。

关节:弧度制绝对目标,不是关节增量。

夹爪:当前 Piper-X 适配器中的归一化开度, 0 为关闭目标, 1 为最大开口目标。

时间尺度:25 Hz 是训练数据时间网格;50 步约对应 2 秒名义时间,不代表网络推理频率或硬件下发频率。

归一化:必须使用 adapter 目录中的 norm stats.json ;其默认 profile 为 PiperX 。

数据与后训练

数据流

训练加载器从当前起点读取连续 50 步动作,episode 尾部不足时重复终端动作。已核验的 7 个完整 episode 中,LeRobot 与训练 JSONL 的动作逐元素一致、帧数一致且图像索引连续。

LoRA 配置

参数 配置

  • -- ---:

LoRA rank 32

LoRA alpha 16

LoRA dropout 0.0

基础学习率 1e-4

Warmup 1,000 步

目标训练步数 15,000

每卡 batch size 8

梯度累积 1

GPU 数 8

名义全局 batch size 64

检查点间隔 1,000 步

动作块长度 50

adapter 不只包含语言层 LoRA。依据当前 adapter config.json ,动作投影、时间 MLP 和时间调制模块也作为可训练/保存模块参与制品输出。

右臂活跃阶段重加权

使用 25 帧窗口和关节位移 L2 阈值 0.1 rad 识别右臂活跃阶段,并按确定性规则添加训练起点:

数据分组 额外起点预算

  • -- ---:

笔筒 5%

叠碗 15%

立瓶子 20%

这些比例不是新增 episode 比例,也不表示动作被加速。每个选中起点至多增加一个副本;原始连续动作顺序和 600 条示范的归一化统计保持不变。该策略的实际收益仍需通过未重加权基线的同条件对照实验验证。

部署

  • *安全提示**:以下命令先启动动作推理服务,不会自动完成碰撞检测、限位、急停或机器人侧执行。第一次接入真机时应断开动力或使用仿真/回放完成接口验证,再进行低速、有人监督的单步测试。
  • 环境要求

Ubuntu 20.04 / 22.04

NVIDIA GPU、驱动与 CUDA 兼容环境

Python 3.10 或 OpenDM Docker 镜像

Git LFS

与本模型适配版本一致的 OpenDM 代码

Piper-X 数据注册、机器人类型与客户端控制代码

OpenDM 官方建议 1 张 GPU 用于推理。显存需求受后端、精度、图像数量和并发影响;本项目暂未发布固定硬件下的峰值显存与延迟数据。

  • 下载模型
  • 安装 OpenDM

也可以按 OpenDM 官方 README 使用 dexmal/opendm:latest Docker 镜像,以降低 CUDA、PyTorch 与 FlashAttention 的版本冲突概率。

  • 修正基座路径

当前公开 adapter 的 base model name or path 保留了训练机器上的绝对路径 /root/gpufree-data/checkpoints/dm05/base 。在该字段被仓库正式修复前,下载后需要改为本机基座目录:

text

离线加载检查

  • > 固定图片与零状态请求
  • > 录制数据回放
  • > 断开动力的指令检查
  • > 单臂、低速、单步执行
  • > 双臂、低速、有人监督执行
  • > RTC 与连续动作队列

text

评测环境:图像与状态

  • > HTTP 推理请求
  • > DM0.5 + ICE-VLA adapter
  • > 服务端 RTC 引导 / 连续性处理
  • > 客户端动作队列与发送调度
  • > 可选任务夹爪规则
  • > Piper-X 驱动

bibtex

@misc{dm05,

title = {{DM0.5}: An Open-World Foundation Model for General-Purpose Embodied Intelligence},

author = {{Dexmal Team}},

month = {July},

year = {2026},

url = {https://www.dexmal.com/blog/dm0.5/index en.html}

}

text

https://modelscope.cn/models/PhoenixW/ICE-VLA

模型主页**:PhoenixW/ICE-VLA · **基础模型**:Dexmal/DM05 · **训练框架**:OpenDM

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部