Fara1.5-9B

# Fara1.5-9B 模型卡片

Model use case

Fara1.5-9B 是由 Microsoft Research AI Frontiers 开发的多模态计算机使用代理（CUA），专用于 Web 浏览器。该模型通过截图观察浏览器界面，代表用户执行结构化工具调用（如点击、输入、滚动、访问URL、网页搜索等），端到端完成各类任务。

## 主要能力

• *端到端网页任务完成**：可填写表单、预订餐厅、申请职位、规划行程、管理购物车等，不仅限于点击操作，而是按目标序列执行动作。

• *纯视觉感知**：仅通过截图操作，无需访问DOM或无障碍树，匹配人类用户的输入模态。

• *坐标锚定动作**：直接预测像素级点击和拖拽目标，无需单独的锚定模型。

• *关键点安全设计**：在涉及个人信息输入、支付、提交、登录、发送消息或其他不可逆操作时，会暂停并询问用户。

• *长上下文**：262K token 上下文长度，支持多截图轨迹及完整动作历史。

• *可本地运行**：9B 参数，可在单张 A100/H100/B200 GPU 上运行，保留截图历史空间。

## 输入输出

• *输入**：用户目标（文本）、当前截图、代理之前的思考和动作

• *输出**：思维链（Chain-of-thought）区块 + 工具调用区块（XML 格式）

运行要求

• *依赖库**：

• torch >= 2.11.0
• transformers >= 5.2.0
• vllm >= 0.19.1

• *硬件**：GPU 需有足够显存运行 9B 模型 bf16 精度（已测试 A6000、A100、H100、B200）

• *屏幕分辨率**：推荐 1440×900，与模型训练环境一致以获得最可靠的锚定效果

基本用法

建议仅与 MagenticLite 或 Github/fara CLI 配合使用。

• *MagenticLite 部署提供**：

• 沙盒环境：浏览器在 Docker 容器中运行，无法访问主机文件或环境变量
• 允许列表：限制导航至用户指定的域名集合
• 监控模式：实时监控每一步操作并提供完整追踪日志
• 暂停功能：可随时立即停止代理活动

• *支持的工具调用操作**：

• 鼠标点击：左键、右键、双击、三击
• 鼠标移动与拖拽
• 键盘输入
• 页面滚动
• 访问URL、后退历史
• 网页搜索
• 暂停并记忆事实
• 向用户提问
• 等待指定秒数
• 终止任务

限制

• *感知局限**：纯视觉感知可能被欺骗性或低质量页面渲染、页面内容中的提示注入、或 UI 元素的视觉歧义所误导。

• *误差累积**：多步骤轨迹中，早期误点击可能累积导致后续失败。

• *运行差异**：多轮任务的运行间方差不可忽略，基准测试数据为多次运行平均值。

• *幻觉风险**：模型可能虚构页面状态或错误归因先前截图中的信息。

• *语言限制**：训练数据仅限英语，不支持其他语言。

• *不适用场景**：

• 高风险领域（法律、医疗、金融建议），错误操作可能导致伤害
• 影响法律状态、住房、就业或信用的分配决策
• 未添加额外测试和保护措施的商业或实际生产环境使用
• 未沙盒化部署且可访问敏感账户或文件

License

MIT 许可证