Everlyn AI、香港科技大学、佛罗里达大学和密歇根州立大学的研究人员推出新型框架OmniCreator，它能够进行自我监督的统一生成和编辑，涵盖图像和视频。OmniCreator通过利用原始的文本-视频对作为条件，同时使用相同的视频作为去噪目标，来学习视频和文本之间的语义对应关系。这个框架能够在给定文本提示和视频的情况下生成忠实于两者的目标，实现不受限制的通用编辑效果，与现有的主要关注特定编辑类型或依赖额外控制（例如结构条件、注意力特征或DDIM反转）的编辑工作相比，OmniCreator更加灵活。
例如，我们有一个视频，内容是“一个平静的海岸线，有轻柔的波浪涌向岩石突出的地方，在晴朗的蓝天下。”现在我们想要编辑这个视频，使其在“日落时分，金色的色调”。使用OmniCreator，我们只需提供这个文本提示，它就能理解和执行编辑任务，生成一个符合这个描述的视频。
主要功能：
- 文本提示的统一生成和编辑：OmniCreator能够根据文本提示生成图像和视频，或者对现有视频进行编辑。
- 多模态编辑：支持对视频的前景、背景、风格等进行编辑。
- 自我监督学习：无需额外的训练数据，利用原始文本-视频对进行自我监督学习。
主要特点：
- 通用性：OmniCreator是一个真正统一的框架，能够处理图像和视频的生成和编辑。
- 灵活性：能够处理各种编辑类型和场景，不需要额外的控制或监督。
- 高效性：通过自我监督的方式避免了大规模注释成本，节省了计算资源。
工作原理：
OmniCreator的核心在于学习视频和文本之间的语义对应关系。它通过将原始视频作为去噪目标，同时使用文本作为条件，来训练一个模型，该模型能够在给定文本提示和视频的情况下生成新的视频。这个过程中，模型学习到了如何将文本描述转换为视频内容的变化。在编辑阶段，模型利用这种学习到的对应关系来对视频进行精确的编辑。
具体应用场景：
- 视频内容创作：根据剧本或文本提示生成视频内容。
- 视频编辑和后期制作：对现有视频进行风格、背景、前景等的编辑。
- 多媒体展示：根据文本描述生成符合特定主题或场景的多媒体展示视频。
- 教育和培训：创建教育内容，如历史事件或科学实验的模拟视频。
- 娱乐和游戏：在游戏中生成视频内容，提升玩家的沉浸感。
评论0