PC控制 — 远程桌面控制

通过截图（mss）和鼠标/键盘模拟（pyautogui），从WSL/Linux控制Windows桌面。在Windows上运行FastAPI服务器，Python客户端从WSL调用该服务器。

设置

1. 配置 config.json

编辑技能目录中的 config.json。将 python_path 设置为带有pip的Windows Python路径：

json
{
server: {
host: 127.0.0.1,
port: 18888,
python_path: C:\\Python312\\python.exe
},
powershell: /mnt/c/Windows/System32/WindowsPowerShell/v1.0/powershell.exe,
autoshutdownminutes: 10,
screenshot: {
default_scale: 0.5,
default_quality: 50
}
}

2. 安装依赖

bash
python3 scripts/install.py

将 fastapi uvicorn mss pyautogui pillow 安装到Windows Python环境中。

使用方法

启动服务器

bash
python3 scripts/launcher.py start

截图并分析

python
import sys; sys.path.insert(0, skills/pc-control/scripts)
from client import PCControl
pc = PCControl()
img_path = pc.screenshot(scale=0.5, quality=50)

使用图像分析工具理解屏幕内容

重要提示： 截图已缩放。点击时，将目标坐标除以缩放比例即可获得实际屏幕坐标。例如，如果scale=0.5且图像中目标位于(400, 300)，则实际点击位置为(800, 600)。

执行操作

python
pc.click(x, y) # 左键单击
pc.double_click(x, y) # 双击
pc.right_click(x, y) # 右键单击
pc.move(x, y) # 移动光标
pc.scroll(x, y, clicks) # 滚动（负数=向下）
pc.drag(x1, y1, x2, y2) # 拖拽
pc.type_text(hello) # 输入文本
pc.press(enter) # 按键
pc.hotkey(ctrl, c) # 组合键

每次操作后验证

每次操作后务必截图确认操作成功，再继续下一步。

停止服务器

bash
python3 scripts/launcher.py stop

交互循环

截图 → 分析 → 决定操作 → 执行 → 截图验证 → 继续或完成

注意事项

• - 服务器仅在本地主机监听，使用令牌认证（令牌每次会话自动生成）
• Win+R → 输入应用名称 → 回车，比点击任务栏图标更可靠
• 点击后等待1-2秒再重新截图
• 优先使用命令行/PowerShell——仅在纯GUI任务时使用此工具