ClickMap
Make flaky web automation stable: save named points once, then click/type by name every time.
Why people use this
- - Stops brittle selector/DOM failures in UI automation flows
- Reuses human-readable names instead of random coordinates
- Great for repeat tasks: click target → type text → submit
Resources
- - Extension folder: INLINECODE0
- Local bridge: INLINECODE1
- Optional launcher: INLINECODE2
- Autostart installer: INLINECODE3
- Action runner: INLINECODE4
- Data file: INLINECODE5
Capture flow (user)
- 1. Load unpacked extension from
assets/chrome-extension. - Start bridge (
node scripts/bridge-server.js or start-bridge.cmd).
- Optional:
powershell -ExecutionPolicy Bypass -File scripts/install-autostart.ps1 -RunNow to keep bridge auto-running after reload/login.
- 3. Open target page (example:
https://suno.com/create). - Toggle marking ON from popup.
- Hover mouse at exact pixel and press P to add point.
- Native prompt opens: enter POI name and save.
- Press D while hovering near a point to delete nearest saved POI.
- Bright pink dots show saved points on that page.
POIs auto-sync to bridge when possible. Use popup Sync POIs if needed.
Agent action commands (no desktop-control)
Always use the ClickMap action runner for clicks/types:
CODEBLOCK0
Notes
- - Best results come from POIs that include
coords.screen (new captures do this automatically). - If an old POI misses screen coords, just re-save it once.
- Use clear names (example:
suno_com.StylesBox) so automations stay readable. - The bridge runs locally on your machine (localhost only).
ClickMap
让不稳定的网页自动化变得稳定：一次性保存命名点，之后每次按名称点击/输入。
为什么人们使用这个
- - 消除UI自动化流程中脆弱的选择器/DOM故障
- 复用人类可读的名称，而非随机坐标
- 非常适合重复任务：点击目标 → 输入文本 → 提交
资源
- - 扩展文件夹：assets/chrome-extension/
- 本地桥接：scripts/bridge-server.js
- 可选启动器：scripts/start-bridge.cmd
- 自动启动安装器：scripts/install-autostart.ps1
- 动作运行器：scripts/clickmap-actions.ps1
- 数据文件：data/pois.json
捕获流程（用户）
- 1. 从 assets/chrome-extension 加载解压后的扩展。
- 启动桥接（node scripts/bridge-server.js 或 start-bridge.cmd）。
- 可选：powershell -ExecutionPolicy Bypass -File scripts/install-autostart.ps1 -RunNow 以在重启/登录后保持桥接自动运行。
- 3. 打开目标页面（示例：https://suno.com/create）。
- 从弹出窗口切换标记为开启。
- 将鼠标悬停在精确像素位置，按 P 键添加点。
- 弹出原生提示：输入POI名称并保存。
- 在点附近悬停时按 D 键删除最近保存的POI。
- 亮粉色圆点显示该页面上已保存的点。
POI会在可能时自动同步到桥接。如有需要，使用弹出窗口的 同步POI 功能。
代理动作命令（无需桌面控制）
始终使用ClickMap动作运行器进行点击/输入：
powershell
列出点
powershell -ExecutionPolicy Bypass -File $HOME/.openclaw/workspace/skills/clickmap/scripts/clickmap-actions.ps1 -Action list
精确点击已保存的点（屏幕坐标）
powershell -ExecutionPolicy Bypass -File $HOME/.openclaw/workspace/skills/clickmap/scripts/clickmap-actions.ps1 -Action click -PoiName suno_com.LyricsBox
在聚焦的字段中输入文本（默认粘贴模式）
powershell -ExecutionPolicy Bypass -File $HOME/.openclaw/workspace/skills/clickmap/scripts/clickmap-actions.ps1 -Action type -Text hello world -ClearFirst
一次调用完成点击和输入
powershell -ExecutionPolicy Bypass -File $HOME/.openclaw/workspace/skills/clickmap/scripts/clickmap-actions.ps1 -Action click-type -PoiName suno_com.songName -Text Still Learning My Name (Remix) -ClearFirst
注意事项
- - 包含 coords.screen 的POI效果最佳（新捕获会自动包含）。
- 如果旧POI缺少屏幕坐标，只需重新保存一次。
- 使用清晰的名称（示例：suno_com.StylesBox），以便自动化保持可读性。
- 桥接在本地机器上运行（仅限localhost）。
