WeVisCut 是一款由腾讯开源的长程工具智能体（Long-horizon Tool Agent），专为将知识类长文或口播稿自动化转化为数分钟的高质量视频成片而设计。该项目采用 Apache-2.0 许可协议，通过单个 9B 参数模型驱动，摒弃了传统的硬编码流程状态机，实现了高度自主的端到端视频剪辑工作流。
- 项目主页：https://tencent.github.io/WeVisCut
- GitHub：https://github.com/Tencent/WeVisCut
- 模型：https://huggingface.co/tencent/WeVisCut
核心架构与工作机制
WeVisCut 的核心在于其“策略驱动”而非“脚本驱动”的设计理念，确保模型在复杂的长程任务中保持灵活性与可控性。
- 状态驱动的工具循环：在每一步中，9B 策略模型会读取当前结构化的剪辑状态，并仅发出一次工具调用。工具执行的结果会写回状态，循环持续进行，直到调用
Tool_StitchVideo拼接出最终成片。一次完整的典型运行约需 12 次工具调用。 - 无硬编码状态机：系统内部没有预设的固定流程。下一步动作完全由策略模型根据当前状态自行决定。系统仅设置“护栏”来拒绝非法的工具调用，而不会越俎代庖替模型重写动作。
- 推理与训练严格对齐：为了保证部署时的稳定性，Studio 运行时使用的 12 个工具 Schema 和状态 JSON 与模型训练时完全一致。这确保了推理行为始终落在策略模型被优化的数据分布内。
12 步动作空间
WeVisCut 的动作空间由 12 个专用剪辑工具构成，覆盖了从文本解析到最终渲染的全流程：
- Tool_SegmentArticle：将长文切分为逻辑章节。
- Tool_PlanShots：为单个章节规划分镜。
- Tool_GenerateAudio：合成口播音频，并据此锁定镜头时长。
- Tool_RetrieveVisual：为镜头检索匹配的画面素材。
- Tool_DecorateShot：绑定动画模板并填充内容槽位。
- Tool_TimelineCompose：渲染单个镜头。
- Tool_MusicSearch：生成并挑选匹配的配乐列表。
- Tool_TextQuickJudge / Tool_VLMRenderJudge：作为质量门，分别对文本和渲染后的视频进行质量判别。
- Tool_SelfReflect：模型自我反思，决定下一步需要修复或调整的内容。
- Tool_ModalProbe：调用外部服务进行预检。
- Tool_StitchVideo：将所有镜头拼接为最终成片。
核心工程组件
为了支持研究与生产级别的视频编辑，WeVisCut 提供了两个关键的配套模块：
- Studio (实时可编辑时间轴)：提供包含 8 条同步轨道（章节、分镜、口播、字幕、素材、模板、BGM、渲染）的可视化界面。支持暂停/继续、手动修改分镜、通过对话指令改片、按单个镜头重新渲染以及版本回滚，赋予用户对 AI 生成结果的完全控制权。
- Data Construct Pipeline (开源数据引擎)：负责采集和构建训练数据。它记录策略模型背后的长程轨迹，包含主流程、内容生成和反思修复三路角色数据，形成“一篇口播稿进 → 一条成片 + 三路轨迹数据”的闭环，为模型的持续迭代提供高质量语料。
运行环境与限制
- 硬件要求：运行 bf16 精度的 9B 模型需要约 24 GB 的 NVIDIA 显存。若仅使用 Studio 界面模式进行手动编辑，则无需本地 GPU。
- 软件依赖：Python ≥ 3.11。
- 使用限制：WeVisCut 旨在辅助长格式视频编辑，不保证绝对的事实准确性或广播级生产质量。生成的旁白和视频在发布前需经过人工审查。模型权重必须配合 WeVisCut 的专用工具环境才能生成视频，无法作为独立的文本到视频生成模型使用。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
