桌面智能体UI树验收工作流

将桌面UI树、选择器稳定性、动作合同和人工发布门禁整理成可复核的离线验收链。

AI智能体与自动化

技能数量

20,065
下载量

                    ¥158.00                                    
参考价 · 登录确认

15,432
销量

购买前，先确认这些

我的已购工作流

以下摘录自发布者现有说明，不代表平台已完成运行验证。完整交付范围、限制与验收要求请继续阅读原文。

交付内容

四个独立技能目录，每个包含元数据、技能说明、执行器、文档和脱敏样例。四步可重复运行：UI 树快照、选择器稳定性、动作合同、人工发布门禁；每个技能也能单独使用。缺窗口引用、角色/名称、父路径、动作目标、预期状态、负责人或证据引用时，均产生明确 REVIEW/BLOCKED/HOLD 分支。通过样例输出 READY_FOR_HUMAN_DESKTOP_RELEASE，并保留 PENDING、execute_action=false 和 desktop_write_executed=false；错误样例不会触碰真实桌面。

需要准备

已授权且脱敏的 UI Automation 树快照、窗口引用、应用版本和观察时间允许的选择器字段、动作类型、预期前后状态和不可逆动作清单负责人引用、测试运行引用、前后证据引用和发布决定引用

运行与安装说明

使用 Python 3.10 或更高版本，将 UI 树和动作合同写成 UTF-8 JSON；不要放入真实姓名、账号、客户记录、密码或截图。依次运行 UI 树快照、选择器审计、动作合同核验和人工发布门禁，也可以单独运行任一步。由有权限的负责人在隔离测试环境查看证据后，决定是否由现有桌面自动化工具执行；本套餐本身不发送输入。

费用、服务与边界

脚本只处理买家有权使用且已经脱敏的本地 JSON，不连接桌面、窗口、远程控制、浏览器、邮件或数据库，不读取屏幕内容，不执行鼠标键盘输入，不启动程序，不修改文件，不提交表单。UIA 树缺失或错误时不能证明应用不可自动化；选择器通过也不等于动作安全。套餐不承诺跨版本稳定性、业务成功率、无障碍合规、数据准确率或生产结果。

安装准备与故障排查确认材料、运行环境与额外费用后再购买。阅读完整说明

工作流详情

# 桌面智能体UI树验收工作流

**4个实用技能 · 4步完成 · 每一步都能单独使用**

把桌面智能体面对的 Windows UI Automation 树、选择器稳定性、动作合同和人工发布门禁整理成可复核的离线验收链。先固定脱敏 UI 树，再识别动态或歧义定位，接着核验动作目标与不可逆操作确认，最后生成不执行的人工发布包。套餐不读取真实桌面、不截图、不注入鼠标键盘、不启动应用、不提交表单。

4个可下载技能 · 每个技能可单独运行

## 4步自动化工作流

### 🔵 1 桌面UI树快照归一

技能文件：`desktop-ui-tree-snapshot`

**解决什么：** 桌面应用没有 DOM 或 API 时，智能体拿到的控件角色、名称、层级和可用动作经常不稳定，后续无法复核输入。

**你会得到：** READY/REVIEW、规范化的窗口和元素快照、字段缺口以及 `desktop_tree_snapshot_hash`。

**↓ 本步结果自动进入下一步**

### 🟢 2 桌面选择器稳定性审计

技能文件：`desktop-selector-stability-auditor`

**解决什么：** 只依赖坐标或一次性 AutomationId 的选择器容易在窗口调整、列表重排和应用更新后失效。

**你会得到：** PASS/REVIEW/BLOCKED、稳定候选、歧义候选、动态标识提醒和 `selector_stability_hash`。

**↓ 本步结果自动进入下一步**

### 🟠 3 桌面动作合同核验

技能文件：`desktop-action-contract-checker`

**解决什么：** 定位成功不代表动作安全，输入、保存、发送或删除前必须明确预期状态和人工确认边界。

**你会得到：** PASS/REVIEW/BLOCKED、目标匹配、预期状态、不可逆动作清单和 `desktop_action_contract_hash`。

**↓ 本步结果自动进入下一步**

### 🔴 4 桌面人工发布门禁

技能文件：`desktop-ui-human-release-gate`

**解决什么：** 桌面动作不能因为模型给出高置信度就直接执行，负责人需要查看前后证据和异常处理方式。

**你会得到：** READY_FOR_HUMAN_DESKTOP_RELEASE/HOLD、`human_decision=PENDING`、`execute_action=false`、`desktop_write_executed=false` 和 `desktop_release_packet_hash`；这是最终交付。

## 实际示例

脱敏样例模拟一个没有公开 API 的桌面客户管理窗口，包含窗口、客户搜索框、结果表格和保存按钮。第一步固定控件角色、名称、父路径、AutomationId 和支持动作；第二步把稳定的“role+name+ancestor_path”与动态 AutomationId 分开；第三步要求保存动作提供 expected_before、expected_after 和人工确认；第四步生成待人工发布包。样例只验证离线字段和错误分支，不代表真实桌面已被访问或修改。

## 适合谁

- 需要评估 SAP、ERP、主机终端或旧版桌面客户端是否适合智能体自动化的团队
- 使用 Windows UI Automation 或辅助技术树做桌面测试、回归和流程验收的 QA 人员
- 希望先检查选择器和动作合同，再把桌面操作交给人工批准的自动化实施者
- 需要为没有 API 的内部系统建立可审计桌面动作验收材料的运营团队

## 买家只需提供

- 已授权且脱敏的 UI Automation 树快照、窗口引用、应用版本和观察时间
- 允许的选择器字段、动作类型、预期前后状态和不可逆动作清单
- 负责人引用、测试运行引用、前后证据引用和发布决定引用

## 使用方式

1. 使用 Python 3.10 或更高版本，将 UI 树和动作合同写成 UTF-8 JSON；不要放入真实姓名、账号、客户记录、密码或截图。
2. 依次运行 UI 树快照、选择器审计、动作合同核验和人工发布门禁，也可以单独运行任一步。
3. 由有权限的负责人在隔离测试环境查看证据后，决定是否由现有桌面自动化工具执行；本套餐本身不发送输入。

## 交付与验收

- 四个独立技能目录，每个包含元数据、技能说明、执行器、文档和脱敏样例。
- 四步可重复运行：UI 树快照、选择器稳定性、动作合同、人工发布门禁；每个技能也能单独使用。
- 缺窗口引用、角色/名称、父路径、动作目标、预期状态、负责人或证据引用时，均产生明确 REVIEW/BLOCKED/HOLD 分支。
- 通过样例输出 READY_FOR_HUMAN_DESKTOP_RELEASE，并保留 PENDING、`execute_action=false` 和 `desktop_write_executed=false`；错误样例不会触碰真实桌面。

## 服务说明

包含技能

以下为套餐组成，实际执行顺序请按上方工作流说明。安装所需环境、账号与外部服务费用请在购买前确认。

桌面动作合同核验 desktop-action-contract-checker

Check desktop action targets, expected states and irreversible-action approvals before execution.

桌面选择器稳定性审计 desktop-selector-stability-auditor

Audit selector stability and ambiguity from a normalized desktop UI tree.

桌面人工发布门禁 desktop-ui-human-release-gate

Build a pending human release packet for a desktop agent action.

桌面UI树快照归一 desktop-ui-tree-snapshot

Normalize an authorized Windows UI Automation tree snapshot for offline agent acceptance.