Computer use

Anthropic为 Claude Code 注入了一项革命性能力——Computer Use（电脑操控）。从此，Claude 不再仅仅是一个能在终端敲命令的“键盘侠”，它拥有了“眼睛”和“手”，能够直接操控你的 macOS 桌面。

这意味着，从编写代码、编译运行，到点击按钮、输入文本、截图验证，整个开发测试闭环现在可以由 Claude 全自动完成，无需人类干预。

核心能力：从“写代码”到“测 UI”的完整闭环

此前，AI 助手在处理图形界面（GUI）应用时存在巨大盲区：它们能写出完美的 Swift 或 Electron 代码，却无法知道界面长什么样，更无法验证按钮是否可点击、流程是否通畅。

Computer Use 填补了这一空白：

• 👁️ 视觉感知：Claude 可以实时“看到”屏幕内容（通过截图），理解 UI 布局、文字和图标。
• 🖱️ 物理操作：它能控制鼠标移动、点击、拖拽，以及键盘输入。
• 🔄 自主迭代：
  1. 编写并编译应用。
  2. 启动应用，自动执行测试用例（如：点击“注册”-> 输入邮箱 -> 点击“提交”）。
  3. 截图验证结果。
  4. 若发现 Bug（如按钮无响应、页面报错），自动分析原因并修复代码。
  5. 重新编译验证，直到测试通过。

💡 典型应用场景

• 🍎 macOS 原生应用开发：让 Claude 编写一个菜单栏工具，它不仅能写出 Swift 代码，还能自己编译、启动，并逐个点击菜单项验证功能。
• 🌐 Electron/Web 应用测试：遇到复杂的注册/登录流程问题？告诉 Claude 去测，它会像真实用户一样打开应用、填写表单、截图记录每一步，并定位前端逻辑错误。
• 📱 iOS 模拟器交互：在模拟器中运行 App，Claude 可自动操作模拟器界面，测试触摸交互和动画效果。
• 🐞 自动化复现 Bug：描述一个难以复现的 UI Bug，Claude 可尝试自动操作重现该场景，辅助调试。

安全机制：层层设防，可控可信

赋予 AI 操控桌面的权力伴随着巨大的安全风险。Anthropic 为此设计了严格的多层防护：

1. 应用级授权：每个被控应用需单独授权，禁止随意操控任意窗口。
2. 盲盒保护：终端窗口不会被截图。防止 Claude 看到自己的命令输出后产生逻辑循环或自我干扰。
3. 紧急中断：用户随时按下 Esc 键，即可立即切断 Claude 的控制权。
4. 独占会话：同一时间只允许一个 Claude 会话控制屏幕，避免指令冲突。
5. 高危预警：当涉及 终端 (Terminal)、Finder (访达)、系统设置 等高权限应用时，系统会弹出额外警告，需用户二次确认。

如何启用？

目前该功能处于 研究预览 (Research Preview) 阶段，启用步骤如下：

1. 订阅要求：仅限 Claude Pro 或 Max 订阅用户。
2. 系统限制：仅支持 macOS（Linux/Windows 暂不支持）。
3. 开启服务：在 Claude Code 中输入 /mcp，启用 computer-use 服务器。
4. 授予权限：首次使用时，macOS 系统会弹出提示，需手动授予 辅助功能 (Accessibility) 和 屏幕录制 (Screen Recording) 权限。
5. 开始使用：确保在交互式会话中运行（不支持 -p 非交互模式）。

注意：Team 和 Enterprise 计划暂时无法使用此功能。