ОБЗОР 2026

agent-desktop от Vercel Labs: как агент управляет приложениями без скриншотов

Vercel Labs выпустили CLI, который читает accessibility-дерево настольного приложения и возвращает JSON со ссылками на элементы. Агент кликает по ссылке, а не по пикселю, — и проверяет результат новым снимком.

Computer useVercel LabsНоябрь 2026
Категория Computer use CLIВендор Vercel Labs (США)Лицензия Apache-2.0Обновлено 08.11.2026

agent-desktop решает узкую, но практичную задачу: дать агенту руки в обычных настольных программах — Finder, Slack, почте, калькуляторе — без компьютерного зрения и подгонки под пиксели. Модели внутри нет: CLI только наблюдает и действует, а цикл «увидел — нажал — проверил» пишет ваш агент.

19 128
Звёзд на GitHub
на 08.11.2026
60
Команд в CLI
56 рабочих
3
Платформы
macOS · Windows · Linux
Apache-2.0
Лицензия
бесплатно
Как мы это проверяли
Обзор собран по публичным данным: README и документация проекта (agent-browser.dev/desktop), GitHub API (звёзды, форки, язык, лицензия, даты), страница пакета в npm, раздел Skills. Цифры сняты 08.11.2026; собственных замеров производительности мы не делали и оценки по осям — редакционные.

01Что это такое и чем отличается от скриншотов

Классический computer use работает так: агент получает скриншот, ищет на нём кнопку по описанию и кликает по координатам. Подход универсален, но хрупок: тема оформления, масштаб экрана и всплывшее окно ломают всё, а каждый шаг стоит картинку в контексте.

agent-desktop идёт другим путём. Приложение читается через системный API доступности — AX API на macOS, UI Automation на Windows, AT-SPI на Linux. В ответ приходит JSON-дерево: роль элемента, имя, доступные действия и ссылка ref_id. Агент действует по ссылке, а не по координате, и ему не нужно «видеть» экран.

Плати по всему миру — карта для оплаты зарубежных нейросетей, приложений и подписок из России
Реклама. ООО «КАПИБАРА», ИНН 9703231520
Карточка проекта
Репозиторийgithub.com/vercel-labs/agent-desktop
ЯзыкRust + C-библиотека
Пакет npmagent-desktop 1.2.0 (05.11.2026)
ТребованияNode.js 18+, доступ к Accessibility
Создан19.02.2026
Звёзд / форков19 128 / 1 407 (08.11.2026)

Важная деталь: внутри нет модели и нет «мозга». Это инструмент с JSON-контрактом и стабильными кодами ошибок, поэтому его одинаково просто подключить к Claude Code, Codex, локальному агенту на LangChain или к собственному скрипту на Python.

Кому это нужно
Если ваши задачи живут в вебе — берите браузерную автоматизацию. Если в корпоративной настолке без API (1С, CRM-клиент, почта, терминал) — accessibility-дерево часто единственный способ дать агенту доступ без RPA-платформы.

02Цикл «снимок — действие — проверка»

Модель взаимодействия описана в документации одной фразой: snapshot возвращает дерево с ссылками, действие принимает ссылку, повторный снимок подтверждает результат. Никакой магии — всё держится на том, что ссылка принадлежит конкретному снимку.

Один шаг агента
1Наблюдениеagent-desktop snapshot --app Finder -i отдаёт JSON: элементы и ref_id2Действиеagent-desktop click @s8f3k2p9:e8 нажимает именно этот элемент3ПроверкаНовый snapshot подтверждает, что состояние изменилось4Повтор или стопАгент решает: следующий шаг, новый снимок или failedЦикл живёт в вашем агенте, CLI только исполняет команды

Устаревшие ссылки отклоняются: если интерфейс изменился, действие вернёт STALE_REF или AMBIGUOUS_TARGET, и агент обязан снять новый снимок. Это не защита от всех ошибок, но честный контракт: агент не нажимает «примерно туда», а получает явный отказ.

Отдельно решена проблема плотных интерфейсов. Для тяжёлых приложений документация предлагает сначала карту: snapshot --skeleton -i --compact читает три уровня и помечает свёрнутые ветки числом children_count, затем агент проваливается в нужную область через --root. Так контекст не забивается тысячей узлов Slack целиком.

По умолчанию без захвата мыши
Действия по ссылкам идут через accessibility API и не двигают курсор и не забирают фокус. Физический ввод включается флагом --headed — это удобно, когда нужно показать работу человеку, и опасно, когда на машине параллельно работают.

03Установка и первые команды

Четыре шага до первого клика
1
Поставьте пакет
Глобальная установка через npm; в пакете уже лежат нативные бинарники для x64 и ARM64.
terminalcopy
npm install -g agent-desktop
2
Проверьте окружение
Команда печатает платформу, состояние разрешений и список поддерживаемых поверхностей.
terminalcopy
agent-desktop status
3
Выдайте разрешение
На macOS без гранта Accessibility ничего не работает — пошаговый гид открывается этой командой.
terminalcopy
agent-desktop permissions --guide
4
Снимите дерево приложения
Флаг -i оставляет только интерактивные элементы, --compact убирает служебные поля.
terminalcopy
agent-desktop snapshot --app Finder -i

Альтернативные каналы: brew install agent-desktop для macOS и Linux, а также нативные архивы из GitHub Releases — они нужны, если вы запускаете бинарник без JavaScript-обёртки. Официального пакета Scoop для Windows нет, и проект прямо предупреждает, что свои tap и bucket больше не поддерживает.

Для агентских обвязок есть готовый мост в MCP: agent-desktop mcp поднимает stdio-сервер, где каждая команда становится инструментом вида desktop_snapshot или desktop_click. Это самый короткий путь подключить CLI к Claude Desktop, Codex или OpenCode — без своего кода.

PowerShell и ссылки
В PowerShell кавычьте каждую ссылку: '@s8f3k2p9:e8'. Голый @token там считается оператором splatting, и команда развалится на аргументах.

04Что умеет: 60 команд по группам

Набор команд шире, чем «клик и ввод». Ниже — распределение по группам из README: считаем ровно те имена, что перечислены в таблице проекта, поэтому сумма 60 совпадает с заявленной.

Команды agent-desktop по группамштук в группе, README на 08.11.2026
01020Действия по ссылке16Приложения и окна12Клавиатура и мышь10Наблюдение6Система6Уведомления4Клипборд3Сессии и трейс3
Клик, ввод, выбор, чекбоксы, скролл — 16 команд; отдельно живут уведомления, клипборд, окна и сессии с трассировкой.
ПлатформаТребованиеAPI доступностиПрокси-слой
macOSmacOS 13+, Intel или Apple SiliconAX APIнет
WindowsWindows 10 1809+, x64 или ARM64UI Automationнет
LinuxUbuntu 24.04+, x86_64 или aarch64, X11 или WaylandAT-SPIнет
Один бинарник собирается под одну ОС: адаптеры компилируются отдельно и к чужой системе не подключаются.

Четыре команды из шестидесяти — key-down, key-up, mouse-down, mouse-up — сознательно отказываются работать, пока демон не умеет отпускать зажатую клавишу или кнопку. Это редкий пример честного дизайна: вместо «почти работает» инструмент возвращает отказ.

Полезная мелочь для агентских сценариев: type, set-value и clipboard-set принимают текст через --stdin. Секреты и длинные вставки не попадают в аргументы процесса, а значит — в логи и историю команд.

Нет зарубежной карты для оплаты?Реклама. ООО «КАПИБАРА», ИНН 9703231520Оформить карту →
Как оплатить AI из России — разбор

05Сколько стоит и как распространяется

Проект открытый, лицензия Apache-2.0: платить за сам CLI не нужно, платного облака у него нет. Расходы — только ваши токены модели, которая крутит цикл, и время на разбор интерфейса.

оптимально
npm (глобально)
0 ₽Apache-2.0
  • agent-desktop 1.2.0
  • Нативные бинарники x64/ARM64
  • CLI + MCP-сервер
Homebrew
0 ₽macOS и Linux
  • brew install agent-desktop
  • Свой tap не поддерживается
  • Обновления через brew
Нативный архив
0 ₽GitHub Releases
  • Без JS-обёртки
  • Platform helper рядом
  • Для встраивания в CI
Цены на 08.11.2026: продукт бесплатный, платных тарифов вендор не публикует.
Если понадобится хостинг или SLA — уточняйте у вендора; в README такого предложения нет.

Стоимость владения считается не в подписке, а в токенах: accessibility-дерево обычно короче скриншота, но на больших окнах всё равно тянет тысячи токенов. Отсюда практический вывод — начинать со skeleton-снимка и проваливаться только в нужную область, иначе экономия на картинках съедается размером дерева.

06Сравнение с другими подходами

Критерийagent-desktopСкриншоты + visionБраузерные агенты
Как «видит»Accessibility-деревоПиксели экранаDOM и accessibility веб-страницы
Настольные приложениядаданет
Устойчивость к теме и масштабувысокаянизкаясредняя
Стоимость шаганизкаявысокая (картинка)низкая
Нужна модель внутринетдада
Сравнение по документации проектов, без собственных замеров.

Разница в популярности видна по звёздам: браузерная автоматизация выросла раньше и собрала больше внимания, а десктопный computer use только набирает обороты. Для сайта с каталогом агентов это важный сигнал — спрос на «руки в настолке» растёт вслед за агентами, которые уже научились писать код.

Звёзды GitHub у инструментов автоматизацииснято 08.11.2026
062 500125 000browser-use120 287agent-browser47 065playwright-mcp39 318stagehand25 979agent-desktop19 128
Разные задачи в одной шкале: браузерные фреймворки, MCP-мост к Playwright и десктопный CLI. Звёзды — не качество, а интерес сообщества.
Коммиты в agent-desktop, последние 16 неделькоммитов в неделю, снято 08.11.2026
015304560н1н3н5н7н9н11н13н15332652182519521075319
Ряды неравномерные: всплески совпадают с релизами. Источник — stats/participation GitHub API.

Сравнивать agent-desktop с agent-browser напрямую некорректно: вторая работает с веб-страницами через CDP, первая — с нативными окнами через accessibility-слой. В одном проекте они дополняют друг друга: веб-часть закрывает браузерный CLI, настольную — этот.

07Ограничения и безопасность

Главное ограничение следует из архитектуры: агент видит только то, что ОС отдаёт в accessibility-дереве. Приложения с самописным интерфейсом, игры, canvas-редакторы и удалённые рабочие столы часто отдают пустое или неполное дерево — там придётся возвращаться к скриншотам.

  • Только текст и роли: цвет, иконки и «понятность» интерфейса не передаются, иконка без подписи останется безымянным узлом.
  • Один бинарник — одна ОС; кроссплатформенный сценарий придётся собирать из трёх сборок.
  • Нужен грант Accessibility: в корпоративных сборках macOS он часто запрещён политикой.
  • Цикл «снимок-действие-проверка» — это ваш код: ошибки восстановления лягут на агента, а не на CLI.
Приватность: снимки — это данные
Дерево, клипборд, скриншоты и вывод команд могут содержать приватное содержимое рабочего стола. Документация прямо просит не отправлять их в публичные логи и загрузки. Для агента это значит: не складывать снимки в трейсы без фильтра и не гонять чувствительные окна через внешние модели.

Отдельный риск — необратимость действий. Клик по «Удалить», отправка письма, перевод денег в интерфейсе банка: accessibility-слой не отличает безопасную кнопку от разрушительной. Практика та же, что с браузерными агентами: отдельная учётная запись, тестовый стенд, подтверждение на опасных шагах и лимит на число попыток.

Готовьтесь к смене кадров
Ссылки живут только внутри снимка. Скрипт, который запомнил @e8 и переиспользует его на следующем шаге, получит INVALID_ARGS. Всегда передавайте ссылку с префиксом снимка.

08Кому подходит, а кому нет

  • Подходит: автоматизация внутренних настольных программ без API и веб-интерфейса.
  • Подходит: агенты, которые должны работать на машине пользователя, а не на сервере.
  • Подходит: команды, которым нужен JSON-контракт и код ошибок, а не «магический» компьютер-контроллер.
  • Не подходит: игры, canvas-редакторы и приложения без accessibility-разметки.
  • Не подходит: сценарии, где нужен один кроссплатформенный бинарник без сборки под каждую ОС.
  • Не подходит: полностью автономные «нажми всё сам» без человека на опасных шагах.

По совокупности это зрелый инструмент средней зрелости: документация подробная, релизы регулярные, но экосистема вокруг ещё тонкая, а поведение сильно зависит от конкретного приложения. Начинать стоит с одной повторяемой операции и замеров: сколько токенов уходит на снимок, сколько шагов нужно до результата и как часто агент получает STALE_REF.

Вердикт Qantcore
8,2/ 10
Лучший открытый способ дать агенту руки в настольных приложениях без пикселей: аккуратный JSON-контракт, три платформы, бесплатная лицензия. Оценка снижена за зависимость от accessibility-разметки конкретных программ и за отсутствие готовых сценариев восстановления — их придётся писать самому.

Частые вопросы

agent-desktop — это модель или агент?
Нет. Это CLI и C-библиотека: они читают интерфейс приложения и выполняют действия по ссылкам. Решение, что делать дальше, принимает ваш агент — внутри пакета модели нет.
Нужен ли скриншот, чтобы нажать кнопку?
Нет, по умолчанию действия идут через accessibility API без снимка экрана и без движения курсора. Скриншоты доступны отдельной командой, но не обязательны.
Работает ли на Windows и Linux?
Да. Windows 10 1809+ через UI Automation, Linux — Ubuntu 24.04+ на X11 или Wayland через AT-SPI. Сборка под каждую ОС отдельная, поэтому на смешанных машинах ставьте пакет на каждой.
Сколько стоит agent-desktop?
Сам инструмент бесплатный, лицензия Apache-2.0. Платите только за токены модели, которая управляет агентом, и за инфраструктуру, где он работает.
Можно ли подключить к Claude Code или Codex?
Да, двумя способами: как MCP-сервер (agent-desktop mcp) или как skill из реестра skills.sh. В обоих случаях агент получает команды вида desktop_snapshot и desktop_click.
Что делать при ошибке STALE_REF?
Снять новый снимок и брать ссылки из него: ссылка принадлежит конкретному снимку приложения. Повторять действие со старой ссылкой бессмысленно — интерфейс уже изменился.

Официальные источники

Выбираете, чем дать агенту руки?
В каталоге — обзоры агентов и инструментов с единой методикой оценки, фильтрами по категориям и ценой.
Оплата AI-сервисов из РоссииКарта РФ, СБП или реселлер — рабочая страница оплаты без VPN
Перейти к оплате →