新技术

DiT架构因其强大的生成能力而在图像、视频和语音合成等多个领域展现出巨大潜力。然而，由于在推理过程中需要反复评估计算密集型的注意力和前馈模块，DiT架构的计算成本较高，这成为其广泛应用的一大障碍。为了...

中国科学技术大学的研究人员推出视频编辑方法STABLEV2V，旨在解决视频编辑中形状一致性问题。STABLEV2V通过一系列顺序过程来编辑视频：首先编辑第一帧视频，然后建立交付动作与用户提示之间的对齐...

尽管基于图像的虚拟试穿技术已取得显著进展，但在生成高保真度和适应性强的拟合图像上仍面临诸多挑战。尤其在纹理感知维护和尺寸感知拟合等关键领域，现有方法往往难以达到理想效果，这限制了技术的整体实用性。为应...

东南大学、马克斯普朗克信息学研究所、腾讯微信和加州大学伯克利分校的研究人员推出了一个名为Number-Prompt（NumPro）的方法，它旨在增强视频大语言模型（Vid-LLMs）在视频时间定位（V...

新加坡南洋理工大学、上海人工智能实验室和北京大学的研究人员推出新型3D生成框架GaussianAnything，它能够根据单视图图像或文本条件生成高质量且可编辑的3D模型。这个框架通过一个级联的3D扩...

草图动画作为一种强大的视觉叙事工具，从简单的手工翻页涂鸦发展到了专业的工作室制作，为创作者提供了无限的想象空间。然而，传统的动画制作过程复杂，不仅需要一支熟练的艺术家团队来绘制关键帧和中间帧，还要求艺...

视频生成是一个复杂而多样的任务，涉及多个条件的控制，如摄像机轨迹、文本提示和用户运动注释。现有的方法通常只能在特定条件下生成视频，缺乏灵活性和一致性。为了解决这些问题，浙江大学 CAD&CG ...

基于校正流的DiT模型，如FLUX和OpenSora，在图像和视频生成领域展示了卓越的性能。然而，这些模型在反演过程中存在不准确的问题，这限制了它们在图像和视频编辑等下游任务中的有效性。为了解决这一问...

南京大学、InstantX、Liblib AI、香港科技大学与中国移动的研究团队共同提出了一种名为RAG（Region-Aware Generation）的新方法，它是一种基于区域描述的精确布局组合文...

无限光年、上海交通大学和复旦大学的研究人员推出新型框架MVideo，它专门设计用于生成具有精确、流畅动作的长时视频。MVideo通过结合文本提示和掩码序列（mask sequences）作为额外的运动...

武汉大学、阶跃星辰和字节跳动的研究人员推出MikuDance，它是一个基于扩散的动画制作流程，用于为风格化的角色艺术作品添加混合运动动力学，使其动起来。MikuDance的核心在于它能够处理复杂的角色...

阿里巴巴集团智能计算研究院、中国科学院自动化研究所、清华大学和中国科学院大学的研究人员推出大规模视频动作数据集EgoVid-5M，专为第一人称视角（egocentric）视频生成而设计。该数据集包含了...