浙江大学、飞步科技、宁波港和腾讯数据平台的研究人员推出新技术Search_T2V，旨在改善文本到视频（Text-to-Video, T2V）合成的质量和真实感。该技术通过搜索现有的视频资源作为运动先验（motion priors），来辅助生成与文本描述相匹配的视频内容。这项技术通过结合现有的视频资源和先进的搜索算法，有效地提高了文本到视频合成的真实性和质量，同时降低了生成成本，为多个领域带来了潜在的应用价值。
例如，你想要创造一个描述“一只老虎在草原上奔跑”的视频，但直接生成这样的视频可能比较困难，因为需要考虑老虎的动作是否自然，场景是否合理等。这项技术会从互联网上搜索真实老虎奔跑的视频，提取它们的运动特征，然后利用这些特征来指导生成新的视频，使得最终的视频更加真实和符合描述。
主要功能：
- 文本到视频合成：将文本描述转换成视频内容。
- 运动先验搜索：搜索与文本描述相匹配的真实视频，提取它们的运动特征。
- 视频生成：利用搜索到的运动特征来辅助生成新的视频。
主要特点：
- 搜索式生成流程：将T2V生成过程重新定义为基于搜索的生成流程，降低了训练模型所需的数据量和成本。
- 对象运动特征提取：提出了一种定制的视频检索模块，专注于从现有视频数据集中搜索与文本描述相匹配的对象运动特征。
- 低成本高质量视频生成：通过利用互联网上的现有视频资源，以较低的成本生成高质量的视频。
工作原理：
- 文本向量化：将输入的文本提示转换为语义向量。
- 语义匹配：在现有文本-视频数据集中搜索，找到与输入文本描述运动特征最相似的视频。
- 关键帧提取：从检索到的视频中提取最能代表文本提示信息的关键帧。
- 运动提取与视频合成：使用关键帧中提取的运动信息来微调预训练的T2V模型，然后生成最终的视频。
具体应用场景：
- 娱乐行业：用于电影、游戏和虚拟现实内容的创建，提供更加真实和动态的视频体验。
- 教育和培训：生成教育内容，如模拟实验或历史事件的重现。
- 内容创作：帮助内容创作者快速生成视频，提高创作效率。
- 广告和营销：创造吸引人的视频广告，增强产品展示的吸引力。
评论0