Computer Use Skill
Note: This skill operates in pass-through mode - tasks are transmitted directly to CUA without modification.
Architecture
CUA Integration Path
CODEBLOCK0
Key Components
- - CUA SDK: Official Python SDK for browser automation
- Virtual Environment: Isolated environment with SDK installed
- Python Wrapper: Programmatic access for integration
File Structure
CODEBLOCK1
Quick Reference
| Task Type | Example |
|---|
| Search | INLINECODE0 |
| Navigation |
"访问github.com" |
|
Forms |
"在登录页面输入用户名和密码" |
|
Screenshots |
"访问产品页面并截图" |
|
Scraping |
"从电商页面提取价格信息" |
|
Complex |
"将购物车商品结算并截图确认" |
Requirements
- - No external credentials handled by user
- Virtual environment with CUA Python SDK installed
Usage Patterns
CODEBLOCK2
Pass-Through Protocol
Critical Rules
- 1. No task modification: Tasks are transmitted exactly as provided
- No wrapping or packaging: Raw task text sent to CUA
- No interpretation: CUA AI handles task understanding
- No preprocessing: User text → CUA (direct path)
Workflow
CODEBLOCK3
What NOT to Do
- - Don't wrap in additional instructions
- Don't process or modify user input
- Don't simplify or elaborate user task
计算机使用技能
注意：此技能以透传模式运行——任务直接传输至CUA，不做任何修改。
架构
CUA集成路径
用户任务 → Python SDK → CUA沙箱 → 浏览器自动化 → 结果流
核心组件
- - CUA SDK：用于浏览器自动化的官方Python SDK
- 虚拟环境：已安装SDK的隔离环境
- Python封装器：用于集成的编程接口
文件结构
workspace/
├── tools/
│ └── executecuatask.py # 任务执行脚本
└── cua_venv/ # 包含SDK的虚拟环境
快速参考
| 任务类型 | 示例 |
|---|
| 搜索 | 打开google页面，搜索杭州天气 |
| 导航 |
访问github.com |
|
表单 | 在登录页面输入用户名和密码 |
|
截图 | 访问产品页面并截图 |
|
数据抓取 | 从电商页面提取价格信息 |
|
复杂任务 | 将购物车商品结算并截图确认 |
要求
- - 用户无需处理外部凭证
- 已安装CUA Python SDK的虚拟环境
使用模式
运行source激活cuavenv → 运行cd进入tools目录 → 运行python executecuatask.py，如python executecua_task.py 在百度搜索人工智能
透传协议
关键规则
- 1. 不修改任务：任务按原样传输
- 不包装或封装：原始任务文本直接发送至CUA
- 不解释：CUA AI负责理解任务
- 不预处理：用户文本 → CUA（直接路径）
工作流程
用户：打开google页面，搜索杭州天气
↓
技能：传输打开google页面，搜索杭州天气（完全一致）
↓
CUA：AI理解并执行浏览器自动化
↓
结果：返回执行消息流
禁止操作
- - 不要添加额外指令进行包装
- 不要处理或修改用户输入
- 不要简化或详细阐述用户任务
