闲社

标题: 【工作流】桌面智能体UI树验收工作流 [打印本页]

作者: admin 时间: 1 小时前
标题: 【工作流】桌面智能体UI树验收工作流
[md]
# 桌面智能体UI树验收工作流

## 套餐描述

将桌面UI树、选择器稳定性、动作合同和人工发布门禁整理成可复核的离线验收链。

## 详细介绍

# 桌面智能体UI树验收工作流

**4个实用技能 · 4步完成 · 每一步都能单独使用**

把桌面智能体面对的 Windows UI Automation 树、选择器稳定性、动作合同和人工发布门禁整理成可复核的离线验收链。先固定脱敏 UI 树，再识别动态或歧义定位，接着核验动作目标与不可逆操作确认，最后生成不执行的人工发布包。套餐不读取真实桌面、不截图、不注入鼠标键盘、不启动应用、不提交表单。

4个可下载技能 · 每个技能可单独运行

## 4步自动化工作流

### 🔵 1 桌面UI树快照归一

技能文件：`desktop-ui-tree-snapshot`

**解决什么：** 桌面应用没有 DOM 或 API 时，智能体拿到的控件角色、名称、层级和可用动作经常不稳定，后续无法复核输入。

**你会得到：** READY/REVIEW、规范化的窗口和元素快照、字段缺口以及 `desktop_tree_snapshot_hash`。

**↓ 本步结果自动进入下一步**

### 🟢 2 桌面选择器稳定性审计

技能文件：`desktop-selector-stability-auditor`

**解决什么：** 只依赖坐标或一次性 AutomationId 的选择器容易在窗口调整、列表重排和应用更新后失效。

**你会得到：** PASS/REVIEW/BLOCKED、稳定候选、歧义候选、动态标识提醒和 `selector_stability_hash`。

**↓ 本步结果自动进入下一步**

### 🟠 3 桌面动作合同核验

技能文件：`desktop-action-contract-checker`

**解决什么：** 定位成功不代表动作安全，输入、保存、发送或删除前必须明确预期状态和人工确认边界。

**你会得到：** PASS/REVIEW/BLOCKED、目标匹配、预期状态、不可逆动作清单和 `desktop_action_contract_hash`。

**↓ 本步结果自动进入下一步**

### 🔴 4 桌面人工发布门禁

技能文件：`desktop-ui-human-release-gate`

**解决什么：** 桌面动作不能因为模型给出高置信度就直接执行，负责人需要查看前后证据和异常处理方式。

**你会得到：** READY_FOR_HUMAN_DESKTOP_RELEASE/HOLD、`human_decision=PENDING`、`execute_action=false`、`desktop_write_executed=false` 和 `desktop_release_packet_hash`；这是最终交付。

## 实际示例

脱敏样例模拟一个没有公开 API 的桌面客户管理窗口，包含窗口、客户搜索框、结果表格和保存按钮。第一步固定控件角色、名称、父路径、AutomationId 和支持动作；第二步把稳定的“role+name+ancestor_path”与动态 AutomationId 分开；第三步要求保存动作提供 expected_before、expected_after 和人工确认；第四步生成待人工发布包。样例只验证离线字段和错误分支，不代表真实桌面已被访问或修改。

## 适合谁

- 需要评估 SAP、ERP、主机终端或旧版桌面客户端是否适合智能体自动化的团队
- 使用 Windows UI Automation 或辅助技术树做桌面测试、回归和流程验收的 QA 人员
- 希望先检查选择器和动作合同，再把桌面操作交给人工批准的自动化实施者
- 需要为没有 API 的内部系统建立可审计桌面动作验收材料的运营团队

## 买家只需提供

- 已授权且脱敏的 UI Automation 树快照、窗口引用、应用版本和观察时间
- 允许的选择器字段、动作类型、预期前后状态和不可逆动作清单
- 负责人引用、测试运行引用、前后证据引用和发布决定引用

## 使用方式

1. 使用 Python 3.10 或更高版本，将 UI 树和动作合同写成 UTF-8 JSON；不要放入真实姓名、账号、客户记录、密码或截图。
2. 依次运行 UI 树快照、选择器审计、动作合同核验和人工发布门禁，也可以单独运行任一步。
3. 由有权限的负责人在隔离测试环境查看证据后，决定是否由现有桌面自动化工具执行；本套餐本身不发送输入。

## 交付与验收

- 四个独立技能目录，每个包含元数据、技能说明、执行器、文档和脱敏样例。
- 四步可重复运行：UI 树快照、选择器稳定性、动作合同、人工发布门禁；每个技能也能单独使用。
- 缺窗口引用、角色/名称、父路径、动作目标、预期状态、负责人或证据引用时，均产生明确 REVIEW/BLOCKED/HOLD 分支。
- 通过样例输出 READY_FOR_HUMAN_DESKTOP_RELEASE，并保留 PENDING、`execute_action=false` 和 `desktop_write_executed=false`；错误样例不会触碰真实桌面。

## 服务说明

脚本只处理买家有权使用且已经脱敏的本地 JSON，不连接桌面、窗口、远程控制、浏览器、邮件或数据库，不读取屏幕内容，不执行鼠标键盘输入，不启动程序，不修改文件，不提交表单。UIA 树缺失或错误时不能证明应用不可自动化；选择器通过也不等于动作安全。套餐不承诺跨版本稳定性、业务成功率、无障碍合规、数据准确率或生产结果。

## 套餐图标

## 包含技能

- [desktop-action-contract-checker
](https://www.xianshe.com/plugin.php?id=hl_skillhub&mod=detail&slug=desktop-action-contract-checker)
- [desktop-selector-stability-auditor
](https://www.xianshe.com/plugin.php?id=hl_skillhub&mod=detail&slug=desktop-selector-stability-auditor)
- [desktop-ui-human-release-gate
](https://www.xianshe.com/plugin.php?id=hl_skillhub&mod=detail&slug=desktop-ui-human-release-gate)
- [desktop-ui-tree-snapshot
](https://www.xianshe.com/plugin.php?id=hl_skillhub&mod=detail&slug=desktop-ui-tree-snapshot)

## 安装方式

此套餐为**付费套餐**，购买后可一键下载全部技能。

🛒 [点击购买并下载桌面智能体UI树验收工作流](https://www.xianshe.com/plugin.php?id=hl_skillhub&mod=buy&bundle_id=507)

## 收费方式

💴 **现金购买** - 需要支付 ¥158.00

## 前往安装

**[👉 点击前往套餐安装页面](https://www.xianshe.com/plugin.php?id=hl_skillhub&mod=bundle&ac=detail&slug=desktop-ui-tree-snapshot-3135053c791c)**
[/md]

欢迎光临闲社 (https://www.xianshe.com/)