OpenShorts

OpenShorts 是 MIT 协议开源AI视频工具，主打把播客、访谈、直播这类长视频，自动裁切生成适配TikTok、Reels、YouTube Shorts的9:16竖屏短视频。整套平台包含三大模块，支持Docker自托管，同时提供 openshorts.app 云端托管版本。

两种部署模式对比

三大核心工具模块

1. Clip Generator 长视频竖屏剪辑器

核心能力：利用Gemini分析视频转录文本与场景分割，自动识别3–15个高流量高光片段。

• AI智能取景：四种裁剪模式。双人对话画面会采用上下堆叠布局，字幕放在画面中间接缝，避免遮挡人脸；单人画面启用MediaPipe+YOLOv8人脸跟踪；录屏素材支持主持人画面叠加在屏幕上方。AI会根据画面自动选择布局，也支持手动强制指定。
• 转录字幕：faster-whisper生成词级时间轴字幕，直接烧录进视频。
• 本地LLM备选：可把LLM接口指向Ollama、LM Studio、vLLM等OpenAI兼容服务，高光片段筛选环节完全脱离Google Gemini，不用谷歌密钥。但画面布局识别、无声视频分析依旧依赖Gemini。
• 附加能力：AI生成钩子文字叠加，调用FFmpeg滤镜增加视频特效，ElevenLabs配音与声音克隆，支持30+语言。

2. AI Shorts UGC营销视频生成器

无需相机、演员、拍摄场地，输入产品描述或者网页链接，直接生成带虚拟演员的短视频广告。

• 管线：网页信息抓取 → AI编写短视频脚本（钩子-问题-方案-CTA）→ Flux2 Pro生成虚拟人像 → ElevenLabs语音配音 → Hailuo 2.3 + VEED唇形同步生成说话头 → AI生成B-roll素材并添加运镜效果 → FFmpeg合成成片，自动叠加字幕。
• 计费档位：低成本模式0.65美元每条，高级模式2美元每条。
• 输出成片可直接一键发布至TikTok、Instagram、YouTube Shorts。

3. YouTube Studio 内容配套工具包

一站式处理YouTube短视频配套素材：AI生成缩略图，提供10套标题方案并支持对话迭代润色；根据字幕自动生成带章节时间戳的视频简介，并且可以直接提交发布。

配套UGC素材库

生成的视频、头像存入公共素材图库，自带SEO页面。图库支持悬停预览，单视频页面配置OG视频标签、JSON-LD结构化数据，便于搜索引擎收录；同时保存提示词历史和头像素材。

自动化能力：MCP、API、Webhook、CLI

这是它一大亮点，原生支持MCP协议，可被Claude、Cursor、ChatGPT等AI智能体调用。

• MCP服务器：托管版本支持OAuth2.1，自托管本地服务提供http/stdio两种接入方式。智能体可以直接下发指令，完成视频剪辑、作业查询、成片发布。
• REST API + Webhook：支持异步任务，任务结束后推送回调通知，不需要轮询；接口支持签名校验，配套OpenAPI交互式文档。
• CLI命令行工具：openshorts命令，可嵌入脚本自动化流程。
• 预制n8n工作流示例：输入视频链接，自动完成剪辑+发布，开箱即用。
• 兼容开放Agent Skills标准，可直接安装到Hermes Agent、Claude Code等智能体。

硬件与环境要求（自托管）

基础环境：Docker + Docker Compose，最低8GB内存。
需要自备API密钥：

• Gemini：高光分析、画面布局识别；支持替换本地LLM做片段筛选
• fal.ai：AI Shorts虚拟人像、唇形同步视频生成
• ElevenLabs：配音TTS
• Upload-Post：社交平台一键发布

GPU加速（NVIDIA显卡，推荐RTX4060及以上，支持NVENC硬编）
容器可直通宿主机NVIDIA GPU，whisper large-v3-turbo支持FP16，8GB显存足够运行；FFmpeg启用NVENC硬件编码。Windows环境依靠Docker Desktop + WSL2。

无Google密钥本地部署要点

只替换高光片段筛选的大模型，视频画面相关的布局检测、无声视频分析依旧需要Gemini。

• Ollama需要调高上下文窗口，建议OLLAMA_CONTEXT_LENGTH=16384；7B/8B模型输出JSON稳定，3B小模型容易出错。

适用人群

内容创作者、短视频营销机构、SaaS/电商品牌、本地商家；同时适合开发者，可基于API/MCP嵌入自有工作流。

部署与加速指南

基础启动

git clone https://github.com/mutonby/openshorts.git && cd openshorts
cp .env.example .env  # 填入 AWS S3 密钥（可选）
docker compose up --build
# 访问 http://localhost:5175 → 设置页填入 API Keys

NVIDIA GPU 加速

# docker-compose.override.yml
services:
  backend:
    build: { context: ., args: { GPU: "1" } }
    deploy:
      resources:
        reservations:
          devices: [{ driver: nvidia, count: all, capabilities: [gpu, video] }]

.env 关键配置：

WHISPER_MODEL=large-v3-turbo
WHISPER_DEVICE=cuda
FFMPEG_ENCODER=auto  # 自动探测 h264_nvenc
TRANSCRIBE_BACKEND=parakeet  # 可选，比 whisper 快 2x

本地 LLM 替代 Gemini

LLM_BASE_URL=http://host.docker.internal:11434/v1
LLM_MODEL=qwen2.5:14b
# Ollama 需设 OLLAMA_CONTEXT_LENGTH=16384

⚠️ 注意：本地 LLM 仅替代时刻挑选；布局选择、屏幕内容检测仍需 Gemini。

自动化集成生态