
Vercel Labs 正式开源了 agent-desktop,这是一个专为 AI 智能体设计的跨平台桌面计算机使用工具。该工具通过读取操作系统的可访问性树(Accessibility Tree)来理解应用界面,而非依赖传统的屏幕截图。
任何具备 Shell 执行能力的编码智能体,均可通过该工具驱动原生桌面应用,从而绕开对昂贵视觉模型的依赖。项目采用 Apache-2.0 许可协议,目前最新版本为 1.0.2。
核心机制:基于可访问性树的结构化交互
agent-desktop 本质上是一个供智能体调用的工具集,而非内置大语言模型的完整智能体。它由一个 Rust 编写的命令行接口(CLI)和一个 C 语言库组成,不包含图形用户界面(GUI)。
其底层架构通过 PlatformAdapter 接口与操作系统隔离,确保核心逻辑不直接依赖特定平台的代码。每个编译后的二进制文件仅针对单一操作系统进行精确驱动,调用对应的原生可访问性 API:
- macOS:AX API
- Windows:UI Automation
- Linux:AT-SPI
每次执行命令后,工具会输出一个 JSON 格式的信封并退出。观察、行动与验证的循环逻辑,完全由外部的智能体系统负责维持。

关键技术特性:精准控制与 Token 优化
为了在复杂的桌面环境中保持稳定性和效率,agent-desktop 引入了多项针对性设计:
- 严格的快照与 Ref 机制:工具会为界面元素分配限定的引用标识(Ref),例如
@s8f3k2p9:e8,其中包含快照 ID 以确保自我描述。若界面发生变化,操作将返回STALE_REF或AMBIGUOUS_TARGET错误,强制智能体重新获取最新快照,避免盲目猜测。 - 骨架模式与深入读取:面对 Slack、VS Code 等包含数千个可访问性节点的密集应用,工具支持
--skeleton模式。该模式仅读取前 3 层深度,截断的容器会报告子节点数量并提供深入读取的 Ref。开发者自报数据显示,此机制可将 Token 消耗减少 78% 至 96%。 - 默认无头运行:Ref 操作直接通过可访问性 API 执行,默认不会移动鼠标指针或劫持系统焦点。这使得智能体可以在后台执行任务,而用户仍能正常使用计算机。若需物理输入,可通过全局
--headed标志开启。
与传统像素级方案的横向对比
目前主流的计算机使用方案(如 Anthropic 或 OpenAI 提供的工具)通常依赖屏幕截图和像素坐标。每次截图不仅会增加 1,000 至 1,800 个输入 Token 的成本,还会引入额外的工具调用开销。
相比之下,agent-desktop 采用模型无关的设计,直接返回结构化的界面数据。
| 特性 | agent-desktop (Vercel Labs) | Claude Computer Use | OpenAI Computer Use | Microsoft UFO² |
|---|---|---|---|---|
| 工具类型 | CLI + C 库工具 | API 客户端工具集 | API 工具 | 完整智能体框架 |
| 界面感知方式 | 操作系统可访问性树 | 屏幕截图 | 截图或代码执行 | UIA + 视觉混合 |
| 捆绑模型 | 无,兼容任何智能体 | Claude 模型 | OpenAI 模型 | 可配置 LLM |
| 支持平台 | macOS、Windows、Linux | 托管环境(如 Linux Docker) | 托管的浏览器或桌面 | Windows |
| 物理光标移动 | 否,默认无头运行 | 是,像素级点击 | 是,像素级点击 | GUI + API 操作 |
| 单次查看 Token 成本 | 约 273(Apple Maps 骨架,自报) | 每截图约 1,000 至 1,800 | 未披露 | 未披露 |
| 许可协议 | Apache-2.0 | 专有 API | 专有 API | MIT |
部署环境与集成指南
开发者可通过 Node.js 生态快速安装该工具,支持 npm、Bun、Yarn 和 pnpm。安装包已捆绑 x64 和 ARM64 架构的原生二进制文件。
- macOS:需运行
agent-desktop permissions --guide以授予辅助功能权限。 - Windows:通常无需额外授权,具体取决于终端的完整性级别。
- Linux:需要运行带有
at-spi2-core的图形会话。
为了让智能体快速掌握该工具的使用方法,项目内置了技能文档,可通过 agent-desktop skills get desktop 获取。此外,C 语言库允许 Python、Swift、Go、Ruby 和 Node.js 等宿主语言在进程内直接调用。对于 Electron 应用,还可通过 launch --cdp 为浏览器调试协议(CDP)打开 DevTools 端口。
需要注意的是,对于未实现可访问性树的应用,该工具目前仍无法进行交互。
相关导航


Verdent

Open Intelligent UI

LocalSite AI

Hand-drawn Explainer Video Nikola

OpenClaude Portable

AI Safety HOT Hub






