模型介绍
中文整理SCALECUA：跨平台数据扩展的计算机使用代理
模型用途
SCALECUA是一个计算机使用代理模型，旨在自动化与图形用户界面的交互。该模型能够跨异构平台无缝运行，适用于开发通用型计算机使用代理。
主要能力
该模型支持两种操作模式：
直接操作模式：适用于需要直接进行图形用户界面定位的任务，例如根据描述识别并点击特定按钮，生成即时可执行的操作指令。
推理操作模式：适用于复杂的多步骤任务，引导模型先思考问题、陈述预期操作，然后生成相应的操作代码。这是推荐的通用计算机使用自动化模式。
该模型在多个基准测试中取得先进性能：在MMBench-GUI L1-Hard达到94.4%，在OSWorld-G达到60.6%，在WebArena-Lite-v2达到47.4%。相比基线模型，在WebArena-Lite-v2上提升了26.6个百分点，在ScreenSpot-Pro上提升了10.7个百分点。
输入输出
输入：视觉图像（图形用户界面截图）
输出：坐标定位和可执行的操作动作
运行要求
模型基于视觉-语言模型开发，需要支持视觉输入的处理能力。
基本用法
模型提供两种使用模式。直接操作模式用于即时定位和操作，需要设置相应的系统提示词来生成基于视觉输入的坐标预测。推理操作模式用于复杂任务，需要先让模型进行推理思考，再生成操作代码，使用时需要从响应中提取推理过程、低级指令和操作，并根据调整后的图像进行坐标转换。
限制
该模型为计算机使用代理，专注于图形用户界面的交互自动化。模型性能可能因平台和任务类型而异。
许可证
项目提供数据、模型和代码的公开访问，具体许可证信息请参阅项目官方页面。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。