模型介绍
中文整理FLUX 3 Action DROID
Model use case
FLUX 3 Action 是一个开源的 7B 参数世界动作模型。该模型接收摄像头画面、机器人状态和文本指令，输出下一段动作，并与下一帧视频画面一起去噪。该模型基于 DROID 数据集微调，在 RoboLab-120 基准测试中以 42.92% 的任务成功率排名第一。
主要能力
该模型为世界动作模型（WAM），能够同时预测未来画面和动作。与传统的视觉语言动作模型（VLA）不同，WAM 将动作预测与视频生成结合在一起。
输入输出
输入：
任务描述（text）、机器人状态（state）、三个 RGB 摄像头画面（images.wrist、images.left、images.right）。摄像头顺序对应原始观测中的手腕画面和两个外部摄像头画面。图像为 CHW 格式 3x360x640 浮点数，值域 [0,1]，组合为 544x736 画布。状态包含七个机械臂关节位置（弧度）和夹爪闭合比例。
输出：
绝对关节命令后跟夹爪闭合比例（0 表示打开，1 表示关闭），每次输出 32 个动作，频率 15 Hz。归一化为恒等映射，夹爪反转和动作缩放 2 在模型内部应用。
运行要求
该模型在 NVIDIA H200 上以 bfloat16 精度运行约需 32 GB GPU 显存。使用 FP8 量化并卸载文本编码器可适配 24 GB 显存显卡。测试环境：Python 3.12、CUDA 12.8、torch 2.10.0、transformers 5.16.1。
基本用法
该模型提供 BF16 和 FP8r 两种优化版本。BF16 版本包含 LeRobot 配置；FP8r 版本需要 FLUX Action。LeRobot 使用 config.json；独立 FLUX Action 使用 config.native.json。采样使用四个 Cosmos UniPC 步骤，shift 5，视频引导 4，动作引导 1。
限制
FLUX 3 Action 输出关节目标。模型本身不限制关节速度、力或工作空间，应用必须强制执行这些限制，并在可触及范围内保持硬件急停装置。在接近人员运行前，必须在模拟器上验证或启用机械臂的安全限制。
该模型及其衍生作品不得用于：任何违反适用法律的方式；在没有人类监督和停止手段的情况下控制对人类构成危险的机器；用于完全自动化决策或对个人法律权利产生不利影响的高风险应用；用于骚扰、虐待、威胁、跟踪或欺凌个人或群体；用于以任何方式剥削、伤害或试图剥削或伤害未成年人。
许可证
该模型采用 FLUX Kommunity License v.1.0。flux-3-action-base 中的文本编码器是 Qwen3-VL-4B-Instruct 的未修改副本，采用 Apache-2.0 许可证。flux-action 中的代码具有自己的许可证。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。