Computer Use
Qwen Code 包含一个 computer-use skill,通过两个独立安装的包来教模型如何操作桌面应用:
bundled computer-use skill
-> @qwen-code/node-repl-mcp
-> @qwen-code/cua-sdk/computer-use
-> native cua-driver accessibility backendQwen Code 不捆绑 MCP server、SDK 或原生驱动。skill 会在缺少这些外部包时自动安装。
Computer Use 可以读取应用 UI 并控制鼠标和键盘输入。请仅在受信任的环境中使用,并仔细审查 MCP 审批。
自动设置
需要 Node.js 22 或更高版本以及 npm。
首次使用时,skill 会自行运行以下命令:
qwen mcp add --scope user node-repl npx -y @qwen-code/node-repl-mcp@0.1.0
npm install --no-save --package-lock=false @qwen-code/cua-sdk@0.20.0MCP server 首次添加后请重启 Qwen Code。skill 随后通过 node_repl 继续执行桌面任务。
SDK 安装不会修改 package.json 和 lockfile,但会写入工作区的 node_modules。其 postinstall 会下载并验证当前平台的原生 payload。
移除 MCP 配置或工作区中的 SDK 安装即可禁用该执行路径;没有旧版回退。
使用
要求 Qwen Code 使用 $computer-use 执行桌面任务。引导完成后,它会遵循标准的 Computer Use 工作流:
- 发现目标应用和窗口;
- 观察完整的辅助功能状态;
- 尽可能通过当前的语义元素 token 执行操作;
- 每次变更后获取最新状态;
- 验证请求的结果;以及
- 关闭 SDK 客户端并重置 REPL。
驱动是唯一计算观察差异的组件。模型代码使用类型化的 SDK 方法,不会分发任意的驱动工具名称。
权限
Node REPL 是一个 MCP server,以普通 Node.js 权限执行模型编写的 JavaScript。其调用遵循 Qwen Code 正常的审批流程。SDK 还会强制执行原生授权。
在 macOS 上,辅助功能观察和输入需要 Accessibility 权限。截屏还需要 Screen Recording 权限。macOS 可能会将授权归因于启动 Qwen Code 的终端或 IDE。Windows 和 Linux 使用各自平台的辅助功能和输入机制。
故障排除
- 如果自动设置后
node_repl仍不可用,请重启 Qwen Code 并使用qwen mcp list验证 server。 - 如果自动设置后 SDK 导入仍然失败,请确认 Qwen Code 运行在安装该包的工作区中。
- 超时、取消、重置或内核崩溃后,请重新引导 SDK 客户端并请求最新状态。