Windows 11 Copilot 新增语音交互与屏幕感知能力

微软近期宣布多项 Copilot 功能更新，进一步将其集成到 Windows 11 系统中。新功能强调语音作为第三种输入方式（继键盘、鼠标之后），并允许 Copilot 在用户授权下查看屏幕内容以提供上下文相关帮助。

这些更新不要求 Copilot+ PC，普通 Windows 11 设备即可使用（部分高级功能除外）。

语音交互：支持“Hey, Copilot”唤醒

• 可通过 “Hey, Copilot” 语音唤醒，或使用快捷键 Win + C
• 支持在应用内对话，例如：
  • 在音乐播放器中询问“如何提升音质”
  • 观看 YouTube 时问“主持人用的什么麦克风”，Copilot 可识别并推荐购买链接
• 所有语音与屏幕访问功能默认关闭，需在设置中手动启用

微软表示，语音设计为辅助输入，而非取代键盘或鼠标。

任务栏集成：“Ask Copilot”取代搜索栏

面向 Windows Insider 用户，微软正在测试 “Ask Copilot” 功能：

• 位于任务栏，替代原有的搜索框
• 点击后可：
  • 启动文本或语音聊天
  • 搜索本地文件
  • 调用 Copilot Vision（图像识别）
• 该功能为选择加入式，用户可随时关闭

Copilot Actions：AI 可执行本地操作（实验性）

在 Copilot Labs 中推出的 Copilot Actions 允许 AI 在用户监督下执行任务，例如：

• 整理照片
• 在文档中查找特定信息
• 操作本地文件

特点：

• 每一步操作实时可见，用户可随时中断或接管
• 涉及敏感操作时，会额外请求确认
• 默认关闭，仅限测试用户使用

支持连接第三方服务

Copilot 可连接以下服务（需用户授权）：

• 微软生态：OneDrive、Outlook、Microsoft 365
• 谷歌服务：Gmail、Google Drive、Google Calendar

连接后，Copilot 可基于日历、邮件、文档等数据提供个性化建议，例如：

• “你明天 10 点有会议，相关文件在 OneDrive”
• “上周客户提到的报告，是否需要我帮你找出来？”

此外，结果可直接导出到 Word 或 PowerPoint，便于生成作业或演示文稿。

文件资源管理器集成 Manus AI

微软还将 Manus（通用 AI 代理）集成至文件资源管理器：

• 可基于本地文档执行任务，如“用这些素材创建一个网站”
• 无需编写代码，AI 自动生成基础结构
• 目前处于早期测试阶段

其他更新

• Copilot Vision 已扩展至所有支持 Copilot 的地区，并新增文本输入支持（此前仅支持语音）
• Copilot+ PC 独占功能：Click-to-Do 现支持 Zoom 操作（如悬停邮箱地址时，可一键发起 Zoom 会议邀请）

隐私与控制

所有涉及屏幕访问、文件操作或第三方服务连接的功能均：

• 默认关闭
• 需用户明确授权
• 提供细粒度开关（可在“设置 > 隐私 & 安全 > Copilot”中管理）