新技术

清华大学和字节跳动的研究人员推出ACDIT，它是一种介于自回归模型和扩散模型之间的插值方法，用于处理视觉信息。ACDIT的核心思想是将自回归建模扩展到块级别，而不是单个文本标记，使得每个块的生成可以基...

苹果公司介绍了一个名为STIV（Scalable Text and Image Conditioned Video Generation）的系统，它是一种用于文本和图像条件下的视频生成方法。STIV系...

Adobe和伊利诺伊大学厄巴纳-香槟分校的研究人员介绍了一种名为NIRVANA的新型文本到图像生成系统，它利用了一种称为近似缓存（Approximate Caching）的技术，旨在高效地服务基于扩散...

华为诺亚方舟实验室发布多模态大语言模型ILLUME，旨在无缝集成图像和文本的理解与生成。ILLUME凭借其创新的架构和训练策略，在显著减少预训练所需数据量的同时，达到了最先进的性能。ILLUME基于统...

香港中文大学、快手科技和浙江大学的研究人员介绍了3DTrajMaster，一个用于多实体3D运动可控视频生成的强大控制器。与传统的2D控制信号相比，3DTrajMaster利用6自由度（6DoF）姿态...

近年来，人像动画生成模型在图像和视频领域取得了显著进展，但它们在身份一致性（ID一致性）方面仍然面临挑战。传统的扩散模型虽然能够生成高质量的视频，但在长时间序列中保持人物的身份特征（如面部表情、发型等...

近年来，扩散模型在图像和视频生成领域取得了显著进展，但在运动迁移任务中，如何将一个视频中的运动模式迁移到另一个视频中，同时保持内容的完整性，仍然是一个具有挑战性的问题。传统的运动迁移方法通常依赖于复杂...

近年来，3D生成模型在图像和视频领域取得了显著进展，但它们通常依赖于有限规模的3D“黄金标签”或2D扩散先验来进行3D内容创作。这种依赖性限制了模型的性能，因为现有的3D数据集规模较小且标注成本高昂...

近年来，大语言模型（LLMs）在图像理解和生成方面取得了显著进展，尤其是在将图像编码为离散标记并结合LLMs进行多模态任务时。然而，将这一成功扩展到视频领域面临着更大的挑战，因为视频不仅包含空间信息...

德克萨斯 A&M 大学、Leia和马克斯普朗克信息学研究所的研究人员推出新型方法PanoDreamer，它能够从单一图像生成360°的3D全景场景。这种方法的核心在于它不是顺序地生成场景，而是...

Snap Research、多伦多大学和向量研究所的研究人员推出多事件视频生成框架MinT（Mind the Time），它能够根据一系列文本提示和特定的时间戳生成具有精确时间控制的视频序列。MinT...

香港大学、清华大学和微软研究院的研究人员推出多代理协作框架GENMAC，旨在实现复杂的文本到视频生成，特别是针对组合性文本提示的生成。传统的文本到视频生成模型在处理复杂场景时常常面临挑战，例如多个对象...