E2B 桌面技能

通过 e2b-desktop Python SDK 控制无头 Linux 桌面（Ubuntu + XFCE）。
所有脚本位于 scripts/ 目录，将 SDK 封装为 bash 命令，便于智能体使用。

前置条件

bash
pip install e2b-desktop
export E2BAPIKEY=e2b_*

状态管理

• - startsandbox.sh 将沙箱 ID 保存至 ~/.e2bstate
• 其他脚本自动从该文件加载沙箱 ID
• 可通过 export E2BSANDBOXID= 随时覆盖
• 沙箱在脚本退出后仍存活——可通过 Sandbox.connect(sandbox_id) 重新连接

脚本列表

脚本	用法	描述
startsandbox.sh	[--resolution 1280x800] [--timeout 300] [--stream]	创建沙箱；可选启动 VNC 流
killsandbox.sh

[SANDBOX_ID] | 终止沙箱并清除状态 | | screenshot.sh | [OUTPUTFILE] | 截屏 → PNG（默认：/tmp/e2bscreenshot.png） | | click.sh | X Y | 在指定坐标左键单击 | | right_click.sh | X Y | 右键单击 | | double_click.sh | X Y | 双击 | | middle_click.sh | X Y | 中键单击 | | move_mouse.sh | X Y | 移动光标（无点击） | | drag.sh | X1 Y1 X2 Y2 | 两点之间点击拖拽 | | scroll.sh | AMOUNT | 滚动（正数=向上，负数=向下） | | type_text.sh | text | 在当前光标位置输入文本 | | press_key.sh | KEY [KEY2...] | 按键或组合键（例如 ctrl c） | | run_command.sh | cmd | 在沙箱内执行 shell 命令 | | openurl.sh | URLOR_PATH | 在默认应用中打开 URL 或文件 | | launchapp.sh | APPNAME | 启动应用（例如 firefox、vscode） | | stream_start.sh | [--auth] | 启动 VNC 流；--auth 启用密码保护 | | stream_stop.sh | （无参数） | 停止 VNC 流 | | getcursor.sh | （无参数） | 输出 CURSORX 和 CURSOR_Y | | getscreensize.sh | （无参数） | 输出 SCREENWIDTH 和 SCREENHEIGHT | | listwindows.sh | [APPNAME] | 列出应用窗口或显示活动窗口 | | wait.sh | MILLISECONDS | 等待 N 毫秒（沙箱端） |

计算机使用智能体循环模式

bash
SCRIPTS=skills/e2b-desktop/scripts

1. 启动沙箱

source <($SCRIPTS/start_sandbox.sh --resolution 1280x800 --stream) echo 沙箱: $SANDBOX_ID echo 查看地址: $STREAM_URL

2. 智能体循环

while true; do # 捕获屏幕 $SCRIPTS/screenshot.sh /tmp/screen.png

# 发送给 LLM，解析动作...（你的代码）
ACTION=$(llm_decide /tmp/screen.png)

case $ACTION in
click:*) IFS=: read -r _ x y <<< $ACTION; $SCRIPTS/click.sh $x $y ;;
type:*) $SCRIPTS/type_text.sh ${ACTION#type:} ;;
key:*) $SCRIPTS/press_key.sh ${ACTION#key:} ;;
done) break ;;
esac
done

3. 清理

$SCRIPTS/kill_sandbox.sh

关键说明

• - scroll.sh AMOUNT：正数 = 向上滚动，负数 = 向下滚动（与 desktop.scroll(amount) API 一致）
• presskey.sh ctrl c：多个参数通过 desktop.press([ctrl, c]) 形成组合键
• runcommand.sh 以沙箱命令的退出码退出
• 所有鼠标坐标脚本接受与沙箱分辨率匹配的整数像素坐标
• VNC 流：同一时间仅允许一个活动流；切换窗口前需先停止