新技术

Meta Motivo 是一个创新的行为基础模型，旨在通过一种新的无监督强化学习（RL）算法——前向-后向表示与条件策略正则化（FB-CPR），来控制复杂虚拟人形代理的运动。该模型能够在测试时通过提示...

尽管带有蒸馏的校正流（ReFlows）为快速采样提供了一种有前景的方法，但其快速反演过程——即将图像转换回结构化噪声以进行恢复和后续编辑——仍然面临挑战。具体来说，传统的ReFlow方法在反演过程中可...

南洋理工大学（NTU）S-Lab提出了一种新的图像超分辨率（Super-Resolution, SR）技术——InvSR，旨在利用大型预训练扩散模型中封装的丰富图像先验来提高SR性能。传统的超分辨率方...

近年来，文本到图像定制技术的进步使得个性化图像的高保真、内容丰富的生成成为可能，允许特定概念在各种场景中出现。然而，当前的方法在结合多个个性化模型时面临挑战，常常导致属性纠缠（即不同概念之间的混淆）或...

开发当代多模态大语言模型（MLLMs）的标准做法是将视觉编码器的特征输入到大型语言模型（LLM）中，并通过自然语言监督进行训练。然而，这种方法存在一个潜在的局限性：仅依赖自然语言监督对于MLLM的视觉...

现有的文本到图像（T2I）扩散模型虽然在生成高质量图像方面表现出色，但面临着几个关键挑战： 模型尺寸大：许多先进的T2I模型包含数十亿个参数，导致存储和部署成本高昂。 运行时间慢：生成高分辨率图像通常...

香港中文大学、上海AI实验室和南洋理工大学的研究人员推出新型框架Neural LightRig，它能够从单张图片中准确估计物体的表面法线（normals）和物理基础渲染（PBR）材料。这个框架通过利用...

Adob​​e 研究中心、韩国科学技术院和伦敦大学学院的研究人员推出Track4Gen，这是一个用于视频生成的空间感知视频生成器，它结合了视频扩散损失和跨帧点跟踪，提供了对扩散特征的空间监督，以增强视...

西湖大学 AGI 实验室、复旦大学、南洋理工大学和香港科技大学（广州）的研究人员推出文本驱动的风格迁移方法StyleStudio，它可以根据文本提示将特定风格的参考图像与目标内容图像结合起来。这种方法...

香港中文大学、英伟达、上海人工智能实验室、InnoHK和香港理工大学的研究人员推出新型方法StreamChat，它旨在增强大型多模态模型（LMMs）与流媒体视频内容的交互能力。在流媒体交互场景中，现有...

香港科技大学和快手的研究人员推出视频风格化方法StyleMaster，它能够对视频进行艺术化生成和风格转换。StyleMaster通过结合全局和局部的风格表示，实现了对视频内容的风格化处理，同时保持了...

使用预训练的文本到图像（T2I）扩散或流模型编辑真实图像是一项具有挑战性的任务。传统的方法通常涉及将目标图像反转为对应的噪声图，然后根据新的文本提示重新生成图像。然而，仅靠反转变换往往无法获得满意的结...