Model details
模型介绍
中文整理# ScaleCUA 模型卡片
模型概述
ScaleCUA 是一个基于视觉语言模型的计算机使用代理，旨在自动化与图形用户界面的交互。该模型能够跨异构平台无缝运行，支持多种操作系统和任务领域。
## 主要能力
- 跨平台操作：支持6种操作系统和3个任务领域
- GUI理解与定位：能够理解图形用户界面并精确定位操作元素
- 跨平台任务完成：完成跨不同平台的复杂任务
- 两种工作模式：
- 直接动作模式：适用于需要直接定位GUI元素的任务，如识别并点击指定按钮
- 推理动作模式：适用于复杂多步骤任务，引导模型先思考问题，再生成相应操作代码
## 性能表现
- WebArena-Lite-v2：相比基线提升26.6个百分点，达到47.4%
- ScreenSpot-Pro：相比基线提升10.7个百分点
- MMBench-GUI L1-Hard：94.4%
- OSWorld-G：60.6%
## 输入输出
- 输入：视觉图像（图形用户界面截图）和文本指令
- 输出：可执行的操作动作，如点击坐标、文本输入等
运行要求
基于 transformers 库运行，需要相应的视觉语言模型支持。
基本用法
模型支持两种使用模式。直接动作模式用于简单的GUI定位任务，可直接生成可执行的动作坐标。推理动作模式用于复杂的自动化任务，模型会先进行推理说明，再生成操作代码。
License
模型、数据和代码均公开可用，具体许可证信息请参考项目 GitHub 仓库。
## 引用
如在研究中使用该项目，请引用相关论文。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
