Nested Attention：用于在文本到图像模型中实现概念个性化
特拉维夫大学和Snap的研究人员推出一种名为 “Nested Attention” 的新机制，用于在文本到图像模型中实现概念个性化。该机制通过在模型的现有交叉注意力层中注入丰富且具有表现力的图像表示，...
排序
视频修复模型SeedVR：处理任意长度和分辨率的真实世界视频修复任务
南洋理工大学和字节跳动的研究团队提出了 SeedVR，旨在解决通用视频恢复（video restoration，VR）中面临的挑战，即如何在处理未知退化的真实世界视频时，有效地恢复高质量视频并保持时间...
华中科技大学推出VA-VAE和LightningDiT框架：在不牺牲重建质量的前提下，显著提升生成性能
华中科技大学的研究团队聚焦于潜在扩散模型（latent diffusion models）中的优化困境，即视觉分词器（visual tokenizer）中每令牌特征维度的增加虽能提升重建质量，但会降低...
VideoRefer Suite：提升视频大语言模型对视频中时空对象的理解能力
由浙江大学和阿里巴巴达摩院的研究团队提出了VideoRefer Suite，旨在提升视频大语言模型（Video LLM）对视频中时空对象的理解能力，解决现有Video LLM在细粒度时空理解方面的不足...
零样本视频对象插入框架VideoAnydoor：能够在视频中高精度地插入给定对象，并且允许用户精确控制对象的运动
由香港大学和阿里巴巴达摩院等机构的研究团队推出零样本视频对象插入框架VideoAnydoor ，它能够在视频中高精度地插入给定对象，并且允许用户精确控制对象的运动。这项技术的核心挑战在于既要保留参考对...
Stability AI 推出一种基于大规模 Transformer 架构的新型音频编码模型TAAE
在语音处理领域，标记化（tokenization）是生成或理解语音的关键步骤。传统的语音编码模型通常依赖于低参数量的架构，使用具有强归纳偏置的组件，如卷积神经网络（CNN）和循环神经网络（RNN）。然...
虚拟脱衣TryOffAnyone：从穿着服装的人身上生成高保真平铺服装图像
多伦多大学和帕特雷大学的研究人员推出TryOffAnyone，这是一个从穿着服装的人身上生成高保真平铺服装图像的技术。这项技术对于时尚行业来说非常重要，因为它可以增强在线购物体验，提供个性化推荐、服装...
PERSE：从单张肖像图像创建一个可动的个性化3D生成头像
首尔国立大学的研究人员提出了一种名为PERSE的创新方法，用于从参考肖像构建可动画化、个性化的生成头像，从单张肖像图像创建一个可动的个性化3D生成头像（avatar）。PERSE 的核心优势在于它能够...
即插即用的美学适配器VMix：提升生成图像的质量，特别是在视觉审美维度上，如颜色、光线、构图等方面
尽管扩散模型（Diffusion Models）在文本到图像生成方面展现了非凡的才能，但在生成高度美学图像方面仍存在不足。具体来说，生成图像与真实世界美学图像在更细粒度的维度（如色彩、光影、构图等）上...
Bringing Objects to Life：将静态的3D对象转换成4D动画（即动态的3D对象），这个过程是通过文本提示来控制的
巴伊兰大学和英伟达的研究人员推出一种名为3to4D的方法，它能够将静态的3D对象转换成4D动画（即动态的3D对象），这个过程是通过文本提示来控制的。这种方法允许用户为提供的3D模型添加动态行为，模拟对...
图像编辑框架Edicho：能够在野外环境（即非受控环境）中实现一致性的图像编辑
在处理真实场景图像时，实现一致的编辑效果是一个长期存在的技术挑战。这主要由于物体姿态、光照条件和摄影环境等不可控因素的影响。为了应对这些挑战，香港科技大学、蚂蚁集团、斯坦福大学和香港中文大学的研究人员...
新型框架VideoMaker：实现高质量的零样本（zero-shot）定制化视频生成
浙江大学计算机科学与技术学院、腾讯PCG ARC实验室、腾讯AI实验室和华为诺亚方舟实验室的研究人员推出新型框架VideoMaker，它能够实现高质量的零样本（zero-shot）定制化视频生成。这个...