韩国科学技术院提出超分辨率框架Chain-of-Zoom（CoZ）：突破单图像超分辨率模型的放大极限
近年来，单图像超分辨率（SISR） 模型在固定缩放因子下已经能够生成接近真实照片质量的图像。然而，一旦尝试超出训练范围进行放大，就会出现模糊、伪影等问题，严重影响视觉效果。 此外，如果想获得更高倍数的...
排序
AutoVFX：基于自然语言指令的自动视觉效果生成
现代视觉效果（VFX）软件使熟练的艺术家能够创造出几乎任何图像，但创作过程仍然费力、复杂，并且对普通用户来说基本上是不可访问的。为了简化这一过程，伊利诺伊大学厄巴纳-香槟分校的研究人员提出了AutoV...
基准测试CommonsensenT2I：用于评估文生图模型（T2I）生成符合现实生活常识的图像的能力
宾夕法尼亚大学和加州大学圣塔芭芭拉分校的研究人员推出基准测试CommonsensenT2I，用于评估文生图模型（T2I）生成符合现实生活常识的图像的能力。简单来说，就是研究这些模型是否能够根据文字描述...
新型视频重建模型Vidu4D：能够从单个生成的视频创建高保真的4D重建
清华大学、生数科技和同济大学的研究人员推出新型视频重建模型Vidu4D，它能够从单个生成的视频创建高保真的4D重建（即连续的3D表示）。这项技术的核心是处理非刚性物体的动态变化和视频帧的失真问题，这对...
北大团队推出多模态混合专家模型MoE-LLaVA
来自北大的研究人员推出多模态的混合专家模型MoE-LLaVA，旨在通过一种新颖的训练策略，有效地提高模型在处理视觉和语言任务时的性能，同时保持计算成本的稳定。 GitHub Demo 论文 此模型只有...
无需训练的新策略FasterCache：加速高质量视频生成的视频生成模型的推理
视频生成是当前 AI 领域的一个热点研究方向，特别是基于扩散模型的方法。然而，这些模型的推理速度通常较慢，限制了它们在实际应用中的效率。香港大学、南洋理工大学 S-Lab 和上海人工智能实验室的研究人...
D-Flow框架：更加精确地控制生成模型的输出
D-Flow框架是一种用于控制生成过程的方法，通过在流中进行微分来控制生成过程，以优化源（噪声）点。该方法的主要局限是生成时间相对较长（通常需要5-15分钟），这可能会在某些应用中限制其使用。 论文地...
谷歌推出首尾帧图生视频新方法Generative Inbetweening：在两个关键帧之间产生连贯的运动
华盛顿大学、谷歌 DeepMind和加州大学伯克利分校的研究人员推出一种用于生成视频序列的方法Generative Inbetweening，能够在两个关键帧之间产生连贯的运动。简单来说，就是给定视频...
新型实时目标检测系统YOLOv9：通过创新的网络设计和梯度信息处理来提高目标检测的准确性和效率
来自中国台湾的研究人员推出新型实时目标检测系统YOLOv9，通过引入可编程梯度信息（Programmable Gradient Information, PGI）和一种新的轻量级网络架构——广义高效层...
基于多模态扩散模型的创新框架CreativeSynth：用于创意融合和合成视觉艺术
来自字节跳动、中科院自动化研究所、中国科学院大学人工智能学院等机构的研究人员，提出了一个名为CreativeSynth的创新框架，它基于多模态扩散模型，能够协调多模态输入并在艺术图像生成领域实现多任务...
TGATE：减少不必要的计算来提高效率，同时保持生成图像的质量
来自阿卜杜拉国王科技大学、新加坡国立大学和瑞士人工智能实验室的研究人员推出一种简单且无需训练的方法TGATE，通过减少不必要的计算来提高效率，同时保持生成图像的质量，这对于各种需要快速高质量图像生成的...
肖像动画新技术EchoMimic：将静态的肖像照片转化为逼真的动态视频
蚂蚁集团支付宝终端技术部推出肖像动画新技术EchoMimic，它可以将静态的肖像照片转化为逼真的动态视频。EchoMimic创新性地结合音频与面部标志点进行联合训练，并通过一项新颖的训练策略，使其不仅...
