Vercel Labs выпустили CLI, который читает accessibility-дерево настольного приложения и возвращает JSON со ссылками на элементы. Агент кликает по ссылке, а не по пикселю, — и проверяет результат новым снимком.
agent-desktop решает узкую, но практичную задачу: дать агенту руки в обычных настольных программах — Finder, Slack, почте, калькуляторе — без компьютерного зрения и подгонки под пиксели. Модели внутри нет: CLI только наблюдает и действует, а цикл «увидел — нажал — проверил» пишет ваш агент.
Классический computer use работает так: агент получает скриншот, ищет на нём кнопку по описанию и кликает по координатам. Подход универсален, но хрупок: тема оформления, масштаб экрана и всплывшее окно ломают всё, а каждый шаг стоит картинку в контексте.
agent-desktop идёт другим путём. Приложение читается через системный API доступности — AX API на macOS, UI Automation на Windows, AT-SPI на Linux. В ответ приходит JSON-дерево: роль элемента, имя, доступные действия и ссылка ref_id. Агент действует по ссылке, а не по координате, и ему не нужно «видеть» экран.
Важная деталь: внутри нет модели и нет «мозга». Это инструмент с JSON-контрактом и стабильными кодами ошибок, поэтому его одинаково просто подключить к Claude Code, Codex, локальному агенту на LangChain или к собственному скрипту на Python.
Модель взаимодействия описана в документации одной фразой: snapshot возвращает дерево с ссылками, действие принимает ссылку, повторный снимок подтверждает результат. Никакой магии — всё держится на том, что ссылка принадлежит конкретному снимку.
Устаревшие ссылки отклоняются: если интерфейс изменился, действие вернёт STALE_REF или AMBIGUOUS_TARGET, и агент обязан снять новый снимок. Это не защита от всех ошибок, но честный контракт: агент не нажимает «примерно туда», а получает явный отказ.
Отдельно решена проблема плотных интерфейсов. Для тяжёлых приложений документация предлагает сначала карту: snapshot --skeleton -i --compact читает три уровня и помечает свёрнутые ветки числом children_count, затем агент проваливается в нужную область через --root. Так контекст не забивается тысячей узлов Slack целиком.
--headed — это удобно, когда нужно показать работу человеку, и опасно, когда на машине параллельно работают.npm install -g agent-desktop
agent-desktop status
agent-desktop permissions --guide
agent-desktop snapshot --app Finder -i
Альтернативные каналы: brew install agent-desktop для macOS и Linux, а также нативные архивы из GitHub Releases — они нужны, если вы запускаете бинарник без JavaScript-обёртки. Официального пакета Scoop для Windows нет, и проект прямо предупреждает, что свои tap и bucket больше не поддерживает.
Для агентских обвязок есть готовый мост в MCP: agent-desktop mcp поднимает stdio-сервер, где каждая команда становится инструментом вида desktop_snapshot или desktop_click. Это самый короткий путь подключить CLI к Claude Desktop, Codex или OpenCode — без своего кода.
'@s8f3k2p9:e8'. Голый @token там считается оператором splatting, и команда развалится на аргументах.Набор команд шире, чем «клик и ввод». Ниже — распределение по группам из README: считаем ровно те имена, что перечислены в таблице проекта, поэтому сумма 60 совпадает с заявленной.
| Платформа | Требование | API доступности | Прокси-слой |
|---|---|---|---|
| macOS | macOS 13+, Intel или Apple Silicon | AX API | нет |
| Windows | Windows 10 1809+, x64 или ARM64 | UI Automation | нет |
| Linux | Ubuntu 24.04+, x86_64 или aarch64, X11 или Wayland | AT-SPI | нет |
Четыре команды из шестидесяти — key-down, key-up, mouse-down, mouse-up — сознательно отказываются работать, пока демон не умеет отпускать зажатую клавишу или кнопку. Это редкий пример честного дизайна: вместо «почти работает» инструмент возвращает отказ.
Полезная мелочь для агентских сценариев: type, set-value и clipboard-set принимают текст через --stdin. Секреты и длинные вставки не попадают в аргументы процесса, а значит — в логи и историю команд.
Проект открытый, лицензия Apache-2.0: платить за сам CLI не нужно, платного облака у него нет. Расходы — только ваши токены модели, которая крутит цикл, и время на разбор интерфейса.
Стоимость владения считается не в подписке, а в токенах: accessibility-дерево обычно короче скриншота, но на больших окнах всё равно тянет тысячи токенов. Отсюда практический вывод — начинать со skeleton-снимка и проваливаться только в нужную область, иначе экономия на картинках съедается размером дерева.
| Критерий | agent-desktop | Скриншоты + vision | Браузерные агенты |
|---|---|---|---|
| Как «видит» | Accessibility-дерево | Пиксели экрана | DOM и accessibility веб-страницы |
| Настольные приложения | да | да | нет |
| Устойчивость к теме и масштабу | высокая | низкая | средняя |
| Стоимость шага | низкая | высокая (картинка) | низкая |
| Нужна модель внутри | нет | да | да |
Разница в популярности видна по звёздам: браузерная автоматизация выросла раньше и собрала больше внимания, а десктопный computer use только набирает обороты. Для сайта с каталогом агентов это важный сигнал — спрос на «руки в настолке» растёт вслед за агентами, которые уже научились писать код.
Сравнивать agent-desktop с agent-browser напрямую некорректно: вторая работает с веб-страницами через CDP, первая — с нативными окнами через accessibility-слой. В одном проекте они дополняют друг друга: веб-часть закрывает браузерный CLI, настольную — этот.
Главное ограничение следует из архитектуры: агент видит только то, что ОС отдаёт в accessibility-дереве. Приложения с самописным интерфейсом, игры, canvas-редакторы и удалённые рабочие столы часто отдают пустое или неполное дерево — там придётся возвращаться к скриншотам.
Отдельный риск — необратимость действий. Клик по «Удалить», отправка письма, перевод денег в интерфейсе банка: accessibility-слой не отличает безопасную кнопку от разрушительной. Практика та же, что с браузерными агентами: отдельная учётная запись, тестовый стенд, подтверждение на опасных шагах и лимит на число попыток.
@e8 и переиспользует его на следующем шаге, получит INVALID_ARGS. Всегда передавайте ссылку с префиксом снимка.По совокупности это зрелый инструмент средней зрелости: документация подробная, релизы регулярные, но экосистема вокруг ещё тонкая, а поведение сильно зависит от конкретного приложения. Начинать стоит с одной повторяемой операции и замеров: сколько токенов уходит на снимок, сколько шагов нужно до результата и как часто агент получает STALE_REF.
agent-desktop mcp) или как skill из реестра skills.sh. В обоих случаях агент получает команды вида desktop_snapshot и desktop_click.