Skill Recorder

4个月前发布 151 00

微软最新开源的Skill Recorder 提供了一种更直观的路径:录制你的操作,AI 自动生成可复用的技能。它能捕捉你在屏幕上的真实工作会话(点击、窗口切换、页面访问及口述旁白),并利用 GitHub Copilot CLI 将这些操作重构为清晰的意图和有序步骤。

所在地:
美国
收录时间:
2026-08-04
Skill RecorderSkill Recorder

如何让 AI 智能体学会执行复杂的桌面任务?传统的做法是编写繁琐的代码或配置复杂的自动化脚本。Skill Recorder 提供了一种更直观的路径:录制你的操作,AI 自动生成可复用的技能。

Skill Recorder

这是微软最新开源的一款工具,它能捕捉你在屏幕上的真实工作会话(点击、窗口切换、页面访问及口述旁白),并利用 GitHub Copilot CLI 将这些操作重构为清晰的意图和有序步骤。最终,它可以生成两种产物:

  1. 技能 (Skill):一份 SKILL.md 文件,供 AI 智能体按需调用执行。
  2. 自动化 (Automation):可按计划或触发器执行的同一程序。
Skill Recorder

核心亮点:从“回放”到“泛化”

与传统的 UI 自动化工具(如简单的鼠标宏)不同,Skill Recorder 的核心优势在于理解与泛化:

  • 优先使用原生工具:它不会机械地回放每一次鼠标点击,而是尝试识别你的意图,并优先调用智能体的原生工具(如 gh CLI 进行 Git 操作,或 web_fetch 获取网页内容)。
  • 一次录制,处处适用:通过从单个示例中学习,它能实现泛化。例如,你录制一次提交特定表单的操作,生成的技能就能教会智能体如何提交所有类似结构的表单。
  • 本地隐私保护:录制过程(屏幕捕获、帧提取、语音转录)完全在本地进行。只有当你点击“Analyze”时,脱敏后的事件时间线、屏幕快照和文本才会发送至 GitHub 云端由 Copilot 处理。

工作流程:录制 -> 分析 -> 创建

  1. 🔴 录制:按下快捷键(macOS: ⌘⇧R / Windows: Ctrl+Shift+R)开始录制。执行你的任务,期间可通过置顶小栏控制麦克风状态。
  2. 🧠 分析:点击“Analyze”,GitHub Copilot 会重构出整体意图和步骤列表。你可以审阅并编辑这些内容,确保其准确性。
  3. ✨ 创建:基于确认的分析结果,一键生成可复用的 Skill 或 Automation。

安装与使用

Skill Recorder 以源码形式发布,通过一条命令即可在本地构建固定的 Node.js 运行时和应用,无需全局安装。

macOS / Ubuntu

commit="<40-character-release-commit>"; 
curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash

若希望应用在终端关闭后继续运行,可添加 SKILL_RECORDER_DETACHED=1。

Windows (PowerShell)

$commit="<40-character-release-commit>"; 
$env:SKILL_RECORDER_COMMIT=$commit; 
irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

注意事项

  • 平台支持:主要目标平台为 macOS,同时也支持 Windows 11 (x64 和 ARM64)。
  • 账户要求:需要拥有具备 GitHub Copilot 访问权限的 GitHub 账户。
  • 隐私警示:严禁在录制中包含机密信息(如密码、API Key、令牌等)。虽然录制在本地,但分析阶段会将数据发送至云端。

相关导航