模型详情
模型介绍
中文整理# RoboBrain 机器人操作统一大脑模型
模型概述
RoboBrain 是一个用于机器人操作的统一大脑模型，支持从抽象到具体的任务处理。该模型发表于 CVPR 2025。
## 模型类型
- *基础规划模型**：在阶段1-2使用通用数据集训练，阶段3使用机器人规划数据集训练，用于规划预测。
- *Affordance 模型 (A-LoRA)**：基于基础规划模型，阶段4使用 Affordance 数据集进行 LoRA 训练，用于预测物体的可用性。
- *轨迹模型 (T-LoRA)**：基于基础规划模型，阶段4使用轨迹数据集进行 LoRA 训练，用于预测操作轨迹。
## 主要能力
- 规划预测：根据场景和任务生成操作规划
- Affordance 预测：识别物体可交互的功能属性
- 轨迹预测：生成末端执行器的未来路点
## 输入输出
- *输入**：包含视觉信息的场景图像
- *输出**：
- 规划模型输出操作规划
- Affordance 模型输出物体可用性预测
- 轨迹模型输出末端执行器的未来路点
运行要求
- *数据准备**：训练时对路径点进行归一化处理，表示为路点形式，保留三位小数。每个 JSON 文件中的样本格式代表末端执行器的未来路点。
- *环境配置**：需要修改脚本中的环境变量，包括数据路径、图像文件夹、上一阶段检查点路径等。
- *权重转换**：支持将原始权重转换为 Hugging Face 格式。
基本用法
模型支持轨迹预测的推理使用。
限制
该部分信息未在原文中提供。
许可证
该部分信息未在原文中提供。
## 致谢
感谢以下项目开发者：LLaVA-NeXT 提供视觉语言模型训练代码库；Open-X-Embodiment 提供视觉语言模型评估工具；RoboPoint 提供包含指令和对应点的点云数据集。
## 引用
如需引用该项目，请参考相关论文。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
所选固定版本的完整仓库文件，包括模型权重、配置、分词器，以及作者提供的说明和其他文件。自动保留目录结构，不需要逐个选择或下载。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。