模型介绍
中文整理Moto：潜在运动分词器作为机器人操作的桥梁语言
模型用途
Moto是一个基于生成式预训练的机器人操作模型，旨在将视频中蕴含的丰富运动知识迁移到真实机器人控制任务中。该模型通过无监督方式从大量视频数据中学习运动表示，解决机器人领域动作标注数据稀缺的问题。
主要能力
将视频内容转换为潜在运动分词序列，学习运动领域的“桥梁语言”。预训练后的Moto-GPT能够生成语义可解释的运动分词、预测合理的运动轨迹，并通过输出似然值评估轨迹的合理性。经过微调后，模型在机器人操作基准测试中展现出优异的鲁棒性和效率。
输入输出
输入为包含交互知识的视频数据。输出为潜在运动分词序列，可进一步转换为真实机器人的动作控制信号。
运行要求
需要克隆代码仓库，安装Moto训练和推理的最小依赖项。可选配置包括为CALVIN基准测试和SIMPLER基准测试设置Conda环境。模型权重需从Hugging Face单独下载，分别保存至latent motion tokenizer/checkpoints/和moto gpt/checkpoints/目录。
基本用法
首先安装依赖并准备模型权重。使用预训练的潜在运动分词器和Moto-GPT进行潜在轨迹推理。对于机器人操作任务，使用微调后的Moto-GPT在相应基准测试上进行评估。
限制
训练代码尚未发布，目前仅提供推理代码和预训练、微调模型权重。
许可证
该仓库借鉴了Taming Transformers、Phenaki-Pytorch、GR-1、GR1-Training等项目，感谢这些优秀工作。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。