ViewDiff：从文本或图像生成多视图图像
来自Meta和慕尼黑工业大学的研究人员推出ViewDiff，它能够根据文本描述或已有的图像输入，生成与3D对象一致的高质量图像。 项目主页 GitHub 想象一下，你只需要告诉计算机你想要的3D对象是...
排序
新的4位量化方法SVDQuant：通过量化权重和激活值为4位来加速模型的推理过程，同时保持图像质量
扩散模型因其在生成高保真图像方面的卓越能力而备受关注。然而，这些模型在内存和计算方面的要求非常高，这限制了它们在消费级设备和需要低延迟的应用中的部署。为了解决这些问题，研究人员提出了多种技术，包括后训...
Video2Game：自动将现实世界的视频转化为真实且具备交互性的游戏环境
来自伊利诺伊大学厄巴纳-香槟分校、上海交通大学和康奈尔大学的研究人员推出Video2Game，它可以将任何真实世界的视频转换成一个实时、互动、真实感强且与浏览器兼容的游戏环境。例如，你有一段拍摄街道的...
快速视频生成方法AnimateLCM：只需四步推理就可以生成视频
来自香港中文大学、Avolution AI、上海人工智能实验室、商汤科技研究院的研究人员推出快速视频生成方法AnimateLCM，该方法利用一致性学习策略，将图像生成先验和运动生成先验进行解耦，从而提...
MegaFusion：将现有的扩散模型扩展到更高分辨率的图像生成，而无需额外的调整或适应
上海交通大学、上海人工智能实验室和大连理工大学的研究人员推出MegaFusion，它能够将现有的扩散模型（diffusion models）扩展到更高分辨率的图像生成，而无需额外的调整或适应。具体而言...
新型生成模型DisCo-Diff：用于增强连续扩散模型的性能
英伟达和麻省理工学院的研究人员推出新型生成模型DisCo-Diff，它用于增强连续扩散模型（Diffusion Models, DMs）的性能。扩散模型是一种强大的数据生成方法，但它们通常需要将复杂的...
谷歌推出基于问答的自动评估指标Gecko，用于评估文生图模型的性能
谷歌推出基于问答的自动评估指标Gecko2K，用于评估文生图模型的性能。文生图模型生成的图像并不总是能够完全符合文本中的所有细节。因此，评估这些模型生成的图像与文本描述的匹配程度是一个重要的研究问题...
FoleyCrafter：用于将无声视频通过自动生成高质量、与视频同步的声音效果，从而带来沉浸式的视听体验
上海人工智能实验室he 香港中文大学（深圳）的研究人员推出FoleyCrafter系统，它专门用于将无声视频通过自动生成高质量、与视频同步的声音效果，从而带来沉浸式的视听体验。这项技术在电影、电视和游...
自回归技术StreamingT2V：能够创建具有丰富运动动力学的长视频，不会出现停滞现象
来自Picsart AI研究部门、得克萨斯大学奥斯汀分校、佐治亚理工学院和伊利诺伊大学厄巴纳-香槟分校的研究团队推出先进的自回归技术StreamingT2V，能够创建具有丰富运动动力学的长视频，不会出...
新型图像生成模型家族LlamaGen：将大语言模型（Llama）应用到视觉图像生成领域
香港大学及字节跳动的研究人员推出新型图像生成模型家族LlamaGen，将大语言模型（Llama）中原用于文本生成的“下一个令牌预测”范式应用到了视觉图像生成领域。LlamaGen是对传统自回归模型在图...
新型框架Lightplane：用于处理3D神经场的高度可扩展的组件
密歇根大学和Meta的研究人员推出新型框架Lightplane，它包含两个高度可扩展的组件：Lightplane Renderer和Lightplane Splatter。这两个组件专门用于处理3D神...
DragAnything：视频生成中任意对象的运动控制
来自快手、浙江大学和新加坡国立大学的研究团队推出DragAnything，它是一种用于视频生成和控制的方法，它利用实体表示法来实现对视频生成中任意对象的运动控制。 项目主页 GitHub 论文 例如...
