从预览进入正式可用
Google AI for Developers在10月30日的Gemini API更新中宣布,Computer Use工具已在Interactions API和GenerateContent API正式可用(GA)。这次更新针对开发者接口的可用阶段,不代表模型会直接替用户操作设备。
它能做什么
Computer Use让模型读取浏览器、手机或桌面界面的截图,并返回点击、滚动、输入等界面动作建议,可用于表单录入、网页应用测试和跨站信息搜集。应用仍需自行建立执行循环:把截图和任务发给模型,再由客户端解析动作并在目标环境执行,随后回传新截图。
落地时要留意
因此,GA降低的是接口使用阶段的门槛,执行环境、动作控制与权限边界仍由开发者负责。Google文档提醒该能力可能出错或存在安全漏洞,并建议重要操作保持监督,避免用于敏感数据或严重错误难以撤销的任务。
官方更新:Gemini API Release notes
能力说明:Computer use |