Claude Code Video Vision 

虽然大型语言模型在文本处理上已臻化境，但面对视频文件时，往往仍显得力不从心。Claude Code Video Vision 是一款专为 Claude Code 设计的 MCP 插件，它通过 ffmpeg 提取关键视频帧，并结合多种后端处理音频转录，让 Claude 能够直接“观看”视频画面并“聆听”带有时间戳的音频内容。

这不是一个简单的元数据读取器，而是一个真正的感知层。它能根据你的问题智能调整提取策略，无论是分析整场讲座还是查看某一秒的细节，都能游刃有余。

核心亮点：智能、灵活、隐私友好

1. 多模态深度感知

• 视觉直达：Claude 直接接收提取的视频帧图像，而非仅靠文字描述，确保对画面内容（如代码演示、UI 界面、图表）的准确理解。
• 听觉同步：结合带有精确时间戳的音频转录，实现音画同步分析，不错过任何细节。

2. 自适应智能提取

插件会根据你的自然语言指令，自动优化提取参数：

• “看第一秒” → 高分辨率、原始帧率提取 00:00:00 到 00:00:01。
• “总结这 1 小时讲座” → 低帧率、全时长覆盖，快速把握主旨。
• “1:30 时屏幕上的文字是什么？” → 高分辨率、窄时间窗口聚焦，确保 OCR 准确率。

3. 灵活的后端选择

支持云端与本地多种方案，兼顾性能与隐私：

• 本地 Whisper (推荐)：完全离线，免费，使用 whisper.cpp 或 Python openai-whisper，数据不出本地。
• Gemini API：利用 Google 强大的多模态能力，免费套餐每日 1500 次请求。
• OpenAI API：使用 OpenAI Whisper API，按量付费，适合已有账户的用户。

4. 极简安装与配置

• 一键安装：通过 Claude Code 插件市场直接添加，无需复杂构建步骤。
• 交互式向导：运行 /setup-video-vision，引导你完成后端选择、依赖安装（如 ffmpeg, whisper）及参数配置。
• 自动模型管理：Whisper 模型在首次使用时自动下载至本地，省心省力。

快速开始

1. 安装插件

在 Claude Code 中依次运行：

/plugin marketplace add https://github.com/jordanrendric/claude-video-vision
/plugin install claude-video-vision

2. 初始化配置

运行交互式设置向导：

/setup-video-vision

按照提示选择后端（推荐本地 Whisper 以保护隐私）、安装 ffmpeg 和 whisper-cpp（macOS 用户可通过 brew install whisper-cpp 安装）。

3. 开始使用

方式一：斜杠命令

/watch-video path/to/tutorial.mp4 "这个教程用了什么编程语言？"

方式二：自然语言对话
直接提及视频文件路径，Claude 会自动识别并调用插件：

“帮我分析一下 ~/Downloads/demo.mp4，看看里面有没有报错信息。”
“截取 ~/videos/bug-report.mov 第 5 秒的画面，描述一下 UI 布局。”

技术架构与要求

• 核心机制：基于 MCP (Model Context Protocol) 协议，暴露 video_watch、video_info 等工具供 Claude 调用。
• 依赖环境：
  • Node.js 20+
  • ffmpeg (用于视频帧提取)
  • 后端依赖：Gemini API Key / OpenAI API Key / 本地 whisper-cpp
• 配置存储：所有设置保存在 ~/.claude-video-vision/config.json，支持自定义帧率、分辨率、最大帧数等。

适用场景

• 编程教学回顾：快速提取视频教程中的代码片段和讲解重点。
• Bug 报告分析：让 Claude 观看录屏，定位界面异常或操作错误。
• 会议/讲座总结：高效提炼长视频的核心观点和行动项。
• 多媒体内容创作：辅助生成视频字幕、摘要或社交媒体文案。