Claude Video

4个月前发布 170 00

当你粘贴一个 YouTube 链接时,它要么只能猜测标题含义,要么依赖往往缺失关键信息的字幕。Claude Video 让 Claude 能够像人类一样,既看到画面,又听到声音,从而基于真实的视听内容回答问题。

所在地:
美国
收录时间:
2026-07-12
Claude VideoClaude Video

Claude 能阅读网页、运行代码、浏览仓库,但原生状态下,它无法“观看”视频。

当你粘贴一个 YouTube 链接时,它要么只能猜测标题含义,要么依赖往往缺失关键信息的字幕。Claude Video 让 Claude 能够像人类一样,既看到画面,又听到声音,从而基于真实的视听内容回答问题。

核心工作原理:看见画面,听见声音

当你使用 /watch 命令时,插件执行以下流程:

  1. 智能获取:
    • 首选字幕:通过 yt-dlp 检查是否有原生字幕(免费、即时)。如果有,直接提取时间戳文本。
    • 音频 fallback:若无字幕,则提取单声道音频片段,调用 Whisper API(推荐 Groq 的 whisper-large-v3,速度快且便宜;或 OpenAI whisper-1)生成转录。
  2. 帧提取与分析:
    • 使用 ffmpeg 根据视频动态提取关键帧。
    • 场景感知:优先提取场景切换帧,或在低动态视频中均匀采样。
    • 去重优化:通过计算帧间亮度差异,自动丢弃近重复帧(如静止 PPT),节省 Token。
    • 视觉输入:将提取的 JPEG 帧(默认 512px 宽)连同时间戳发送给 Claude。Claude 并行读取这些图像,结合转录文本,形成对视频的完整理解。
  3. 清理:任务结束后,自动删除临时工作目录,保持环境整洁。

为什么需要它?真实应用场景

  • 竞品与内容分析:
    • /watch <viral-video> what hook did they open with?
    • Claude 观察前几秒的画面结构、读取开场白,拆解其叙事技巧。适用于广告创意、播客 intro 分析。
  • Bug 诊断:
    • /watch bug-repro.mov what's going wrong?
    • 无需亲自打开录屏文件。Claude 观看录像,定位问题出现的帧,描述屏幕异常,甚至推断原因。
  • 高效总结与去伪存真:
    • /watch <launch-video> what's actually new
    • 跳过营销话术,直接提取实质性的功能更新和演示细节。
    • /watch <playlist> summarize this to a note
    • 将整个课程或系列视频转化为可搜索的结构化笔记。

成本控制:智能帧预算

视频理解的 Token 成本主要来自图像帧。插件通过多种策略优化成本:

  • 自动帧预算:根据视频时长动态调整提取帧数。
    • ≤30s:~30 帧(密集)
    • 1-3min:~60 帧(舒适)
    • 10min:100 帧封顶(稀疏扫描,建议聚焦特定时间段)

  • 聚焦模式:使用 --start / --end 指定时间段,获得更高密度的帧采样(最高 2 fps),比全片稀疏扫描更精准。
  • 去重机制:默认启用。对于静止画面(如屏幕录制),自动丢弃重复帧,确保 Token 花在变化的内容上。
  • 细节模式 (--detail):
    • efficient:仅提取关键帧,速度极快(~0.5s),适合快速浏览。
    • balanced:基于场景切换提取,平衡速度与覆盖率。
    • token-burner:无上限提取所有场景帧,适合高动态视频的深度分析。

安装与配置:零门槛启动

1. Claude Code (推荐)

/plugin marketplace add bradautomates/claude-video
/plugin install watch@claude-video

2. Codex, Cursor, Copilot 等 50+ 平台

npx skills add bradautomates/claude-video -g

-g 全局安装,所有项目可用。去掉 -g 则仅当前项目有效。

3. claude.ai 网页版

  • 下载 watch.skill 文件。
  • 进入 Settings → Capabilities → Skills → + 上传。
  • 注意:需启用 “Code execution and file creation”,因为插件需要调用本地 ffmpeg/yt-dlp。

首次运行自动配置

  • macOS:自动通过 brew 安装 ffmpeg 和 yt-dlp。
  • Linux/Windows:打印具体的安装命令。
  • API Key:若需 Whisper,插件会引导你在 ~/.config/watch/.env 中配置 GROQ_API_KEY 或 OPENAI_API_KEY。若视频有字幕,则完全免费,无需 Key。

相关导航