新技术

香港中文大学、英伟达、上海人工智能实验室、InnoHK和香港理工大学的研究人员推出新型方法StreamChat，它旨在增强大型多模态模型（LMMs）与流媒体视频内容的交互能力。在流媒体交互场景中，现有...

香港科技大学和快手的研究人员推出视频风格化方法StyleMaster，它能够对视频进行艺术化生成和风格转换。StyleMaster通过结合全局和局部的风格表示，实现了对视频内容的风格化处理，同时保持了...

使用预训练的文本到图像（T2I）扩散或流模型编辑真实图像是一项具有挑战性的任务。传统的方法通常涉及将目标图像反转为对应的噪声图，然后根据新的文本提示重新生成图像。然而，仅靠反转变换往往无法获得满意的结...

浙江大学、江南大学、北京大学、阿里巴巴集团和蚂蚁集团的研究人员推出一个用于训练复杂图像-文本模型的大规模数据集LAION-SG，特别强调了结构化注释的使用。LAION-SG通过提供场景图（Scene ...

浙江大学、快手科技、清华大学和香港中文大学的研究人员推出一种用于多视角视频生成的技术SynCamMaster，能够从不同的视点生成同步的、一致性高的动态场景视频。这项技术特别适用于虚拟拍摄等应用，它通...

文本到图像（T2I）生成任务的目标是从文本提示生成逼真的图像。尽管扩散模型在这一领域取得了显著进展，但现有方法在处理复杂的多步推理和组合性提示时仍面临挑战。特别是，当文本提示包含多个对象及其属性之间的...

图像到视频（I2V）生成任务的目标是从单张图像生成一段连贯的视频，通常涉及对目标对象进行空间移动或变形。现有的方法大多依赖于2D轨迹来表示对象的运动，这虽然简单但存在局限性： 无法捕捉用户意图：2D轨...

三星和帕多瓦大学的研究人员推出一种用于主题-风格条件图像生成技术LoRA.rar，通过使用超网络（hypernetworks）来学习合并内容（subject）和风格（style）的低秩适应参数（LoR...

牛津大学、Snap和MBZUAI的研究人员介绍了一种名为DiTFlow的方法，它是一种专为DiT架构模型设计的运动转移方法。DiTFlow通过分析参考视频，提取出一种名为注意力运动流（Attentio...

高通AI研究院推出一个专为移动设备优化的视频编辑模型MoViE，能够在手机上实现每秒12帧的快速视频编辑。MoViE通过一系列优化，使得在移动设备上进行视频编辑变得可行，这些优化包括架构优化、轻量级自...

高通AI研究院推出了一个为移动设备优化的视频生成模型Mobile Video Diffusion（MobileVD），该模型的目标是在保持生成视频的质量和控制力的同时，显著降低计算需求，使得在移动设备...

图像生成和编辑任务在计算机视觉领域中具有广泛的应用，如图像合成、风格迁移、图像修复等。然而，现有的解决方案通常针对特定任务设计，缺乏一个统一的框架来处理多种图像级任务。香港大学和Adobe Resea...