现在绝大多数AI视频编辑工具，本质都是“原地改写”：给一段固定时长视频，AI把整段全部重新渲染，输出长度和原视频完全一致。
这种模式只能处理已经完整存在的视频，却无法应对源源不断的流式画面——比如正在进行的游戏直播、持续拍摄的长镜头。我们中途下达编辑指令，往往不只是想改已经播过的画面，更希望之后新生成的所有画面都自动带上这个修改效果。
过去技术很难做到这件事。简单切换提示词，老模型要么直接忽略指令、画面回弹原样；要么每改一次就把前面内容全部重绘，人物场景反复错乱，多轮编辑之后画质持续崩坏。
- 项目主页：https://yunzetong.github.io/InfinityEdit/
- GitHub：https://github.com/YunzeTong/InfinityEdit
- 模型：https://huggingface.co/BestWishYsh/Helios-Distilled
浙江大学与阿里巴巴研究团队提出的 InfinityEdit，专门解决“无限视频编辑”这个新任务。输入一段已播放完成的视频片段，再给一条编辑指令，AI只生成接在后面的新片段并执行修改；这个过程可以无限循环，中途不断下达新指令改变后续画面，同时保证整体连贯，不会越改越崩。
主要功能
- 流式接续编辑，不重写旧画面
收到编辑指令后，只对之后新生成的画面生效，历史片段保持原样。比如播到第30秒下达“改成油画风格”，0‑30秒不变，30秒之后全部转为油画风格。 - 支持多轮连续修改
视频一边向后延长，中途可以多次下发不同指令：先改画风，再改镜头运动，再改变物体外观，每一条新指令只影响它之后的视频段。 - 兼容多种编辑类型
支持画风转换、镜头推拉摇移、修改画面人物物体、改变物体运动状态等各类需求；编辑之后，不该改动的人物与环境继续保持原样。 - 长序列稳定
可以生成极长的持续视频，经过多轮编辑后画质不会明显下滑，不会出现人物变形、物体乱变、画面频繁闪烁。 - 轻量化改造
基于现成长视频生成模型，不改动原始大模型主体，只增加一个小型适配模块，训练成本低。
主要特点
- 区别于传统原地剪辑
传统视频编辑改写现有每一帧；本技术是向前接续生成，编辑效果向未来传递，历史画面不改动，更适配直播、持续拍摄这类流式场景。 - “点火式”编辑机制
编辑适配器只在收到指令后的第一段视频开启，把编辑效果“点燃激活”；后续延伸视频时适配器关闭，交给原始大模型继续延续这个效果，兼顾编辑能力与原生长视频稳定性。 - 三重注意力轻量适配器
新增适配器包含三套注意力模块，分别负责参考历史画面、保证时间顺序、注入编辑指令；原始基础大模型完全冻结，保留原本生成高清长视频的能力。 - 抗错误训练策略
训练时故意输入有瑕疵的历史画面，模拟实际使用中AI自己生成的不完美帧，提升容错，防止小错误随视频向后不断放大。 - 动态锚点更新
每一轮编辑生效之后，更新画面锚定参考帧，后续生成以编辑完成后的画面为基准，不会回弹到编辑之前的样子；同时用滑动窗口控制内存消耗，不怕视频无限变长。
工作原理
整套系统建立在现成流式长视频生成模型之上。基础模型本身可以一小段一小段不断生成长视频，但它无法接收中途插入的编辑命令。研究人员不去改动大模型主体，只增加一套叫“编辑点火适配器”的轻量模块。
适配器内部有三套分工明确的逻辑单元：
- 历史交叉注意力：新生成片段持续参考前面已播完的历史视频，保证人物、环境大体不变，不会凭空乱改不该改动的内容。
- 时序因果自注意力：保证视频时间流向只能从前到后，后面帧不能反过来影响已生成画面，维持动作与镜头连贯。
- 编辑交叉注意力：把用户文字编辑指令注入进来，告诉AI这一轮要做什么样的改动。
训练阶段采用两套手段提升可靠性：
- 两阶段课程式训练：第一阶段让模型学会听懂并执行各类编辑命令；第二阶段重点打磨画面细节，专门处理离历史画面较远、更容易崩坏的后面帧。训练时混入有瑕疵的历史片段，模拟真实推理时AI自己产出的不完美画面，增强抗干扰。
- 合成数据集：自动构造大量“前面历史片段 + 编辑指令 + 编辑之后接续的视频”训练样本，区分不同编辑类型做差异化处理，再经过人工筛选过滤低质量素材。
实际推理采用点火接续策略：
收到一条新编辑指令，仅在紧接着的第一段视频打开适配器，把编辑效果点燃生效。这一段生成结束后，适配器直接关闭，交给原始基础模型继续往后生成视频。
同时更新锚定参考画面，把锚点切换到刚刚编辑完成的画面；搭配滑动窗口，只保留最近一段历史画面控制显存占用。后续再收到新指令，就再次短暂开启适配器完成新一轮点火。
简单理解：适配器就像开关，平时关掉，来新编辑指令就短暂打开一下，把改动效果种下，关掉开关之后大模型自己继续带着这个效果一直往下生成视频。
测试结果
研究人员自建专门的连续流式编辑测试集，包含大量风景、人物素材，每段视频连续执行三轮不同编辑指令，和多种现有技术方案做对比。
- 综合指标全面领先竞品
在镜头运动控制、画面闪烁、物体保留、指令遵从度、画面连续性全部维度，InfinityEdit取得最好成绩。
- 原地改写类编辑工具：擅长修改已存在片段，但没办法向前接续生成新画面，多轮之后整体连贯性很差。
- 单纯切换提示词的长视频生成方案：容易丢失原始视频里的人物景物，编辑完就把主体内容改没。
而InfinityEdit既能忠实完成编辑要求，又保留原始视频里不该改动的对象，前后多段拼接成一条完整流畅长视频。
- 多轮编辑稳定性突出
连续三轮编辑之后，它的指令执行能力几乎没有下降；大部分对比方法随着编辑轮次增加，效果明显变差，画质、物体一致性逐步衰减。哪怕生成总长度超过一千帧的超长视频，依旧稳定，编辑效果持续保留，不会回弹变回原样。 - 定性样例表现
连续做组合编辑，例如先改镜头拉远，再切换漫画画风；或者先把人物变成卡通玩偶，再移动镜头。每一条新指令只对之后的画面生效，旧片段保持原样；人物、背景主体不会乱变，不同编辑之间过渡自然。其他方案会出现物体消失、主体特征丢失、画风中途回弹、镜头运动失效等问题。 - 现存局限
目前只支持文字下达编辑指令，还不能拿一张参考图片作为编辑参考；部分编辑切换的时候，画面过渡偶尔会比较生硬。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
