1Prompt1Story：解决文生图模型生成中的一致性问题
南开大学、巴塞罗那自治大学计算机视觉中心、穆罕默德·本·扎耶德人工智能大学，林雪平大学和软银的研究人员推出1Prompt1Story，旨在解决文本到图像（Text-to-Image，T2I）生成中的一...
排序
基于扩散模型的视频修复方法DiffuEraser：分解视频修复任务为子问题并给出解决方案
阿里巴巴通义实验室的研究人员推出一种基于扩散模型的视频修复方法DiffuEraser，能够生成更详细、更连贯的结构，并通过引入先验信息和优化时间一致性来提升性能。比如，在一段视频中，如果某个物体被意外...
思维链推理策略在自回归图像生成中的应用潜力
香港中文大学、北京大学和上海人工智能实验室的研究人员探索思维链（Chain-of-Thought, CoT）推理策略在自回归图像生成中的应用潜力。思维链是一种通过逐步分解复杂问题来解决问题的策略，在语...
基于扩散模型的新型零样本人像视频动画生成技术X-Dyna
南加州大学、字节跳动公司、斯坦福大学、加州大学洛杉矶分校和加州大学圣地亚哥分校的研究团队推出一种新型的零样本（zero-shot）人像视频动画生成技术X-Dyna，基于扩散模型（diffusion-b...
Textoon：基于文本描述生成Live2D格式2D卡通角色的创新方法
在数字角色创作领域，2D卡通风格因其独特的魅力而深受年轻观众的喜爱。尽管3D角色研究取得了显著进展，但交互式2D卡通角色的发展却显得相对滞后。为了解决这一问题，阿里巴巴通义实验室推出了Textoon，...
NeuralSVG：用于从文本提示生成矢量图形
特拉维夫大学和麻省理工学院的研究人员推出了一种名为 NeuralSVG 的新方法，用于从文本提示生成矢量图形（SVG）。该方法通过隐式神经表示（NeRFs）和分数蒸馏采样（SDS）技术，生成具有层次结...
micro_diffusion ：一种低成本训练文生图模型的方法
索尼 AI和加州大学河滨分校的研究人员推出了一种低成本训练大规模文本到图像（Text-to-Image, T2I）扩散模型的方法micro_diffusion 。该方法通过创新的“延迟掩码”（defe...
实时动画生成系统RAIN：能够使用单个 RTX 4090实时生成无限长的视频流
中国科技大学的研究人员推出实时动画生成系统RAIN，能够使用单个 RTX 4090实时生成无限长的视频流。该系统的核心目标是解决现有扩散模型在实时动画生成中的局限性，例如延迟高、视觉质量下降以及无法长...
新型虚拟试穿方法MN-VTON：通过单个生成网络实现高质量的虚拟试穿效果，挑战了当前依赖双网络范式的主流方法
虚拟试穿（VTON）作为电子商务领域的一项关键技术，能够帮助消费者真实地预览服装在自己身上的效果。然而，早期的VTON技术受限于单一生成网络，在保留细粒度的服装细节方面存在不足。为了解决这个问题，研究...
多实例生成方法3DIS-FLUX：利用最新的FLUX模型进行渲染，以实现更高质量的图像生成和更强的控制能力
浙江大学和哈佛大学的研究人员推出多实例生成（Multi-Instance Generation）方法3DIS-FLUX，用于文本到图像生成。3DIS-FLUX是3DIS框架的扩展，利用最新的FLUX模...
多模态大语言模型Omni-RGPT：在统一图像和视频的区域级理解
英伟达和延世大学的研究人员推出多模态大语言模型Omni-RGPT，旨在统一图像和视频的区域级理解。Omni-RGPT通过一种新颖的区域表示方法——Token Mark，实现了对图像和视频中特定区域的深...
字节跳动推出视频生成模型训练新方法APT：通过在扩散预训练的基础上对真实数据进行对抗训练，以实现一步视频生成
扩散模型在图像和视频生成领域展示了卓越的能力，但其迭代性质导致了生成过程缓慢且计算成本高昂。尽管现有的蒸馏方法尝试通过一步生成来解决这一问题，但往往伴随着显著的生成质量下降。为了解决这些挑战，字节跳动...