Computer Use

В Qwen Code встроены инструменты Computer Use, которые позволяют агенту управлять рабочим столом: кликать, печатать, прокручивать, запускать приложения, читать содержимое окон и делать скриншоты. Это превращает Qwen Code в универсального агента автоматизации рабочего стола, а не просто помощника для написания кода в терминале.

Computer Use работает на базе нативного драйвера cua-driver. Инструменты регистрируются как отложенные (лениво загружаемые) встроенные инструменты с префиксом computer_use__, поэтому они занимают место в промпте только тогда, когда модель действительно начинает их использовать.

Warning

Computer Use даёт агенту контроль над мышью, клавиатурой и окнами, а также позволяет читать содержимое экрана. Используйте его только с доверенными промптами и, по возможности, в изолированной или одноразовой среде. Инструменты действий (click, type, drag и т. д.) проходят через обычный режим одобрения; инструменты только для чтения, такие как список окон, могут выполняться без запроса одобрения.

Включение и отключение

Computer Use включён по умолчанию. Инструменты computer_use__* регистрируются автоматически при запуске.

Чтобы полностью отключить его — что также предотвратит загрузку и запуск нативного драйвера — установите tools.computerUse.enabled в false в settings.json:


{
  "tools": {
    "computerUse": {
      "enabled": false,
    },
  },
}

Для применения этой настройки требуется перезапуск.

Первый запуск и нативный драйвер

При первом вызове инструмента Computer Use Qwen Code загружает закреплённый, подписанный бинарный файл cua-driver (~20 МБ) в ~/.qwen/computer-use/ и запускает его как локальный процесс. Готовые бинарные файлы публикуются для macOS (Apple Silicon и Intel), Linux (x86_64) и Windows (x86_64).

Разрешения macOS

На macOS для автоматизации рабочего стола требуются два системных разрешения:

Accessibility — для чтения состояния окон/UI и синтеза ввода
Screen Recording — для захвата скриншотов

При первом использовании драйвер проведёт вас через выдачу этих разрешений через стандартные системные диалоги macOS. Агент также может проверить статус разрешений по запросу (инструмент check_permissions). Поскольку macOS привязывает выдачу разрешений к ответственному процессу, разрешения может потребоваться выдать терминалу или IDE, из которых запущен Qwen Code.

Что может делать агент

Доступен полный набор инструментов cua-driver. Основные возможности:

Категория	Инструменты (выборка)
Мышь	`click`, `double_click`, `right_click`, `drag`, `move_cursor`, `scroll`
Клавиатура	`type_text`, `press_key`, `hotkey`
Окна / UI	`list_windows`, `get_window_state`, `get_accessibility_tree`, `set_value`, `zoom`
Приложения	`launch_app`, `list_apps`, `bring_to_front`, `kill_app`
Страницы браузера	`page` (выполнение JavaScript, чтение текста, запросы к DOM, клик по элементам)
Скриншоты	`get_window_state` (захват PNG), `page`
Запись	`start_recording`, `stop_recording`, `replay_trajectory` (запись/воспроизведение сессии)
Сессии	`start_session`, `end_session`, управление оверлеем курсора агента

Адресация по элементам предпочтительнее, чем координаты пикселей: get_window_state возвращает Markdown-представление дерева доступности окна со стабильным element_index для каждого интерактивного элемента, на который могут напрямую ссылаться инструменты ввода.

Наиболее полная поддержка — на macOS; некоторые инструменты зависят от платформы (например, bring_to_front работает только на Windows, а launch_app предназначен для приложений macOS).

Конфигурация

Все настройки Computer Use находятся в tools.computerUse в settings.json. Полный список см. в справочнике настроек.

Настройка	Тип	По умолчанию	Описание
`tools.computerUse.enabled`	boolean	`true`	Регистрация инструментов `computer_use__*`. При `false` драйвер никогда не загружается и не запускается.
`tools.computerUse.maxImageDimension`	number	`-1`	Максимальная длина стороны скриншота в пикселях. `-1` — значение драйвера по умолчанию (1568); `0` — отключить масштабирование (полное разрешение); положительное значение ограничивает длинную сторону. Меньшие значения снижают расход vision-токенов. Переопределение через переменную окружения: `QWEN_COMPUTER_USE_MAX_IMAGE_DIMENSION`.
`tools.computerUse.idleTimeoutMs`	number	`300000`	Время в миллисекундах, в течение которого процесс драйвера остаётся активным после последнего вызова `computer_use__*` (по умолчанию 5 минут). `0` — процесс работает до выхода из Qwen Code.

Для применения всех трёх настроек требуется перезапуск.

См. также

Режим одобрения — как контролируется выполнение инструментов
Песочница — изоляция доступа инструментов
Справочник настроек — полная схема tools.computerUse.*