agent-desktop

2周前发布 29 00

Vercel Labs 推出开源项目 agent-desktop,一套面向AI智能体桌面操控的Rust CLI + C库,版本1.0.2于10月30日发布,协议Apache-2.0。和Claude、OpenAI的截图式计算机使用不同,它读取操作系统无障碍可访问性树(Accessibility Tree),输出结构化JSON元素快照,不需要...

所在地:
Vercel Labs
收录时间:
2026-11-01
其他站点:
agent-desktopagent-desktop

Vercel Labs 正式开源了 agent-desktop,这是一个专为 AI 智能体设计的跨平台桌面计算机使用工具。该工具通过读取操作系统的可访问性树(Accessibility Tree)来理解应用界面,而非依赖传统的屏幕截图。

任何具备 Shell 执行能力的编码智能体,均可通过该工具驱动原生桌面应用,从而绕开对昂贵视觉模型的依赖。项目采用 Apache-2.0 许可协议,目前最新版本为 1.0.2。

核心机制:基于可访问性树的结构化交互

agent-desktop 本质上是一个供智能体调用的工具集,而非内置大语言模型的完整智能体。它由一个 Rust 编写的命令行接口(CLI)和一个 C 语言库组成,不包含图形用户界面(GUI)。

其底层架构通过 PlatformAdapter 接口与操作系统隔离,确保核心逻辑不直接依赖特定平台的代码。每个编译后的二进制文件仅针对单一操作系统进行精确驱动,调用对应的原生可访问性 API:

  • macOS:AX API
  • Windows:UI Automation
  • Linux:AT-SPI

每次执行命令后,工具会输出一个 JSON 格式的信封并退出。观察、行动与验证的循环逻辑,完全由外部的智能体系统负责维持。

agent-desktop

关键技术特性:精准控制与 Token 优化

为了在复杂的桌面环境中保持稳定性和效率,agent-desktop 引入了多项针对性设计:

  • 严格的快照与 Ref 机制:工具会为界面元素分配限定的引用标识(Ref),例如 @s8f3k2p9:e8,其中包含快照 ID 以确保自我描述。若界面发生变化,操作将返回 STALE_REF 或 AMBIGUOUS_TARGET 错误,强制智能体重新获取最新快照,避免盲目猜测。
  • 骨架模式与深入读取:面对 Slack、VS Code 等包含数千个可访问性节点的密集应用,工具支持 --skeleton 模式。该模式仅读取前 3 层深度,截断的容器会报告子节点数量并提供深入读取的 Ref。开发者自报数据显示,此机制可将 Token 消耗减少 78% 至 96%。
  • 默认无头运行:Ref 操作直接通过可访问性 API 执行,默认不会移动鼠标指针或劫持系统焦点。这使得智能体可以在后台执行任务,而用户仍能正常使用计算机。若需物理输入,可通过全局 --headed 标志开启。

与传统像素级方案的横向对比

目前主流的计算机使用方案(如 Anthropic 或 OpenAI 提供的工具)通常依赖屏幕截图和像素坐标。每次截图不仅会增加 1,000 至 1,800 个输入 Token 的成本,还会引入额外的工具调用开销。

相比之下,agent-desktop 采用模型无关的设计,直接返回结构化的界面数据。

特性agent-desktop (Vercel Labs)Claude Computer UseOpenAI Computer UseMicrosoft UFO²
工具类型CLI + C 库工具API 客户端工具集API 工具完整智能体框架
界面感知方式操作系统可访问性树屏幕截图截图或代码执行UIA + 视觉混合
捆绑模型无,兼容任何智能体Claude 模型OpenAI 模型可配置 LLM
支持平台macOS、Windows、Linux托管环境(如 Linux Docker)托管的浏览器或桌面Windows
物理光标移动否,默认无头运行是,像素级点击是,像素级点击GUI + API 操作
单次查看 Token 成本约 273(Apple Maps 骨架,自报)每截图约 1,000 至 1,800未披露未披露
许可协议Apache-2.0专有 API专有 APIMIT

部署环境与集成指南

开发者可通过 Node.js 生态快速安装该工具,支持 npm、Bun、Yarn 和 pnpm。安装包已捆绑 x64 和 ARM64 架构的原生二进制文件。

  • macOS:需运行 agent-desktop permissions --guide 以授予辅助功能权限。
  • Windows:通常无需额外授权,具体取决于终端的完整性级别。
  • Linux:需要运行带有 at-spi2-core 的图形会话。

为了让智能体快速掌握该工具的使用方法,项目内置了技能文档,可通过 agent-desktop skills get desktop 获取。此外,C 语言库允许 Python、Swift、Go、Ruby 和 Node.js 等宿主语言在进程内直接调用。对于 Electron 应用,还可通过 launch --cdp 为浏览器调试协议(CDP)打开 DevTools 端口。

需要注意的是,对于未实现可访问性树的应用,该工具目前仍无法进行交互。

相关导航