GitHub Copilot 开放Computer Use预览：可直接操作桌面GUI软件，官方建议优先用API/MCP

GitHub于周四公开预览 Copilot Computer Use，为Copilot CLI与桌面端应用增加跨Windows、macOS的桌面操控能力。AI智能体可以读取软件界面内容，完成点击、输入、滚动、拖拽操作，哪怕是没有API、CLI、MCP集成的老旧GUI软件也能直接操作。

官方演示案例是在Safari内填写费用报表，除此之外还可以用来读取旧系统信息、更新PPT、录入数据、跨应用搬运信息。该功能可从终端或者Copilot桌面应用调用，而Copilot桌面应用底层依托Copilot CLI，定位对标Claude Code、OpenAI Codex。在这个赛道上OpenAI、Anthropic早已落地同类桌面智能体能力，GitHub属于跟进入场。

Computer Use 和 MCP 的取舍

开启Computer Use时会加载内置MCP服务器。工作原理：依托系统辅助功能树读取界面控件；需要视觉信息时截取屏幕。

GitHub给出核心建议：优先使用API、MCP服务、终端命令、文件工具等结构化方案，Computer Use作为备选。

结构化接口输出信息更稳定、结果可预测；GUI图像识别点击属于兜底方案。

另一边OpenAI则持不同观点：智能体直接复用人类使用的图形界面，可以省去为每一款软件单独开发连接器的巨大工作量。

权限批准机制

启用命令：Copilot CLI输入 /computer on，或者在桌面设置打开开关。macOS需要额外授予辅助功能权限 + 屏幕录制权限。

权限规则：

1. 授权选项：仅本次会话允许 / 永久允许(Always allow) / 拒绝；拒绝优先级高于自动保存的永久授权。
2. 授权互通：CLI保存的永久授权，会同步到本机Copilot桌面应用。
3. 撤销特点：从永久允许列表删除应用，只会阻止后续会话；已经正在运行的会话，授权依旧有效，不会立刻终止。
4. 紧急停止：CLI连按两次Esc；桌面端点击Stop或Esc键终止智能体动作。

企业管理策略

企业托管策略优先级高于开发者本地设置。管理员可通过managed-settings.json管控，限制开发者能否跳过授权弹窗，管控范围覆盖Copilot App、CLI、VS Code插件。

Business与Enterprise版本该预览功能依旧默认需要手动开启。企业策略将在10月22日正式生效，但预览类功能暂不受该默认策略约束。

可靠性与安全风险提示

1. 稳定性缺陷：窗口状态、页面渲染时序变化，容易造成重复操作或者任务卡住；动态复杂界面下，智能体可能点错控件、填错输入框。
2. 隐私风险：屏幕上可见的所有敏感内容都会被纳入智能体上下文。
3. 操作风险：指令模糊、页面意外内容，有可能触发影响本机文件、账号数据的操作。