模型介绍
中文整理ICE-VLA
面向 Piper-X 双臂桌面操作的多视角视觉-语言-动作模型**
[](https://modelscope.cn/models/PhoenixW/ICE-VLA)
[](https://modelscope.cn/models/Dexmal/DM05)
[](https://github.com/dexmal/opendm/blob/main/docs/en/dm05 so101 lora training.md)
[](https://github.com/agilexrobotics/piper sdk)
[](#版本与制品状态)
ICE-VLA 基于 DM0.5 进行参数高效监督后训练,将自然语言指令、头部相机、左右腕相机和双臂本体状态映射为连续动作序列。当前版本面向 Piper-X 双臂平台,输入 3 路 RGB 与 14 维机器人状态,每次生成 50 步、每步 14 维的绝对关节与夹爪目标。
本仓库发布的是 **DM0.5 基座文件与 ICE-VLA LoRA adapter**,不是一个包含机器人驱动、相机采集和安全控制的一键式应用。真实机器人部署前,请完整阅读部署与安全边界。
导航
30 秒了解模型
版本与制品状态
模型接口
数据与后训练
部署
评测建议
教程与参考资料
限制与安全
30 秒了解模型
项目 ICE-VLA 当前实现
- -- ---
基础模型 DM0.5;工程标识为 DM05
后训练方式 LoRA SFT,沿用 DM0.5 的 Flow Matching 动作训练路径
目标平台 Piper-X 双臂;每臂 6 个关节 + 1 个夹爪通道
视觉输入 头部、左腕、右腕 3 路 RGB;processor 配置为 448 x 448
状态输入 14 维,顺序见动作与状态协议
动作输出 [50, 14] 绝对目标动作块
数据规模 600 条示范、666,002 帧;训练时间网格声明为 25 Hz
数据策略 对右臂活跃阶段进行确定性局部起点重加权
训练状态 15,000 步训练已完成
当前公开 adapter checkpoints/lora15k-10000 ,对应 10,000 步制品
当前训练范式 无 rollout 的监督后训练;不是 RL 或 RECAP 成果
模型页参数量 ModelScope 元数据显示 6.2B;本项目未独立复算
核心特点
- **全局与局部视觉协同**:头部视角观察桌面布局,左右腕视角补充末端附近细节。
- **双臂统一动作空间**:在同一个 14 维空间内预测左右臂关节和夹爪目标。
- **面向不均衡示范的采样策略**:提高右臂活跃阶段作为训练起点的出现频率,同时保留原始动作顺序。
- **模型与执行系统分层**:模型预测、RTC 连续性处理、动作发送节奏和夹爪规则可分别审计。
版本与制品状态
训练步数、曾部署版本和当前公开制品不是同一个概念:
状态 已核验信息 含义
- -- --- ---
训练运行 15000/15000 已完成 说明训练任务到达目标步数
曾核验的服务 加载 lora15k checkpoint-11000 说明某次服务快照使用 11,000 步检查点
当前公开仓库 checkpoints/lora15k-10000 用户当前可下载的是 10,000 步 adapter
因此,本文不把 10k、11k 或 15k 中的任一版本称为“最优检查点”。发布正式评测时,应同时记录检查点目录、权重 SHA-256、OpenDM 提交、归一化文件和部署配置。
仓库内容
请使用 Git LFS 或 ModelScope SDK 下载。普通 git clone 在未安装 Git LFS 时只会得到指针文件,而不是完整权重。
能力范围
训练数据覆盖六类桌面任务:
任务 ID 任务内容
- -- ---
fill pen holder 操作笔筒并将笔放入其中
充电连接(调度 ID 待核验) 将插头插入插线板,再连接充电线
put objects into basket 将桌面物品放入篮子
stack and cover blocks 堆叠积木并用杯子覆盖
stack bowls 叠放碗
stand up bottles 将瓶子立起
这些任务覆盖接近、抓取、搬运、放置、容器操作与接触操作。训练覆盖只表示模型接受过相应监督,不等同于稳定成功率,也不代表模型可执行任意自然语言指令。
模型接口
观测输入
输入 约束
- -- ---
文本 与训练任务分布一致的自然语言指令
图像 1 Head ,桌面全局视角
图像 2 Left wrist ,左腕局部视角
图像 3 Right wrist ,右腕局部视角
状态 14 维当前机器人状态
robot type PiperX ;用于选择匹配的归一化配置
相机数量、顺序和语义必须与训练配置一致。当前 processor 文件声明图像缩放到 448 x 448 ,归一化均值和标准差均为 [0.5, 0.5, 0.5] 。
动作与状态协议
状态与动作向量使用相同的通道顺序:
输出形状: [50, 14] 。
关节:弧度制绝对目标,不是关节增量。
夹爪:当前 Piper-X 适配器中的归一化开度, 0 为关闭目标, 1 为最大开口目标。
时间尺度:25 Hz 是训练数据时间网格;50 步约对应 2 秒名义时间,不代表网络推理频率或硬件下发频率。
归一化:必须使用 adapter 目录中的 norm stats.json ;其默认 profile 为 PiperX 。
数据与后训练
数据流
训练加载器从当前起点读取连续 50 步动作,episode 尾部不足时重复终端动作。已核验的 7 个完整 episode 中,LeRobot 与训练 JSONL 的动作逐元素一致、帧数一致且图像索引连续。
LoRA 配置
参数 配置
- -- ---:
LoRA rank 32
LoRA alpha 16
LoRA dropout 0.0
基础学习率 1e-4
Warmup 1,000 步
目标训练步数 15,000
每卡 batch size 8
梯度累积 1
GPU 数 8
名义全局 batch size 64
检查点间隔 1,000 步
动作块长度 50
adapter 不只包含语言层 LoRA。依据当前 adapter config.json ,动作投影、时间 MLP 和时间调制模块也作为可训练/保存模块参与制品输出。
右臂活跃阶段重加权
使用 25 帧窗口和关节位移 L2 阈值 0.1 rad 识别右臂活跃阶段,并按确定性规则添加训练起点:
数据分组 额外起点预算
- -- ---:
笔筒 5%
叠碗 15%
立瓶子 20%
这些比例不是新增 episode 比例,也不表示动作被加速。每个选中起点至多增加一个副本;原始连续动作顺序和 600 条示范的归一化统计保持不变。该策略的实际收益仍需通过未重加权基线的同条件对照实验验证。
部署
- *安全提示**:以下命令先启动动作推理服务,不会自动完成碰撞检测、限位、急停或机器人侧执行。第一次接入真机时应断开动力或使用仿真/回放完成接口验证,再进行低速、有人监督的单步测试。
- 环境要求
Ubuntu 20.04 / 22.04
NVIDIA GPU、驱动与 CUDA 兼容环境
Python 3.10 或 OpenDM Docker 镜像
Git LFS
与本模型适配版本一致的 OpenDM 代码
Piper-X 数据注册、机器人类型与客户端控制代码
OpenDM 官方建议 1 张 GPU 用于推理。显存需求受后端、精度、图像数量和并发影响;本项目暂未发布固定硬件下的峰值显存与延迟数据。
- 下载模型
- 安装 OpenDM
也可以按 OpenDM 官方 README 使用 dexmal/opendm:latest Docker 镜像,以降低 CUDA、PyTorch 与 FlashAttention 的版本冲突概率。
- 修正基座路径
当前公开 adapter 的 base model name or path 保留了训练机器上的绝对路径 /root/gpufree-data/checkpoints/dm05/base 。在该字段被仓库正式修复前,下载后需要改为本机基座目录:
text
离线加载检查
- > 固定图片与零状态请求
- > 录制数据回放
- > 断开动力的指令检查
- > 单臂、低速、单步执行
- > 双臂、低速、有人监督执行
- > RTC 与连续动作队列
text
评测环境:图像与状态
- > HTTP 推理请求
- > DM0.5 + ICE-VLA adapter
- > 服务端 RTC 引导 / 连续性处理
- > 客户端动作队列与发送调度
- > 可选任务夹爪规则
- > Piper-X 驱动
bibtex
@misc{dm05,
title = {{DM0.5}: An Open-World Foundation Model for General-Purpose Embodied Intelligence},
author = {{Dexmal Team}},
month = {July},
year = {2026},
url = {https://www.dexmal.com/blog/dm0.5/index en.html}
}
text
https://modelscope.cn/models/PhoenixW/ICE-VLA
模型主页**:PhoenixW/ICE-VLA · **基础模型**:Dexmal/DM05 · **训练框架**:OpenDM
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
