新技术

在时尚设计和虚拟试穿领域，传统的图像生成方法往往受限于单一的输入模式（如仅支持文本提示或单个参考图像），并且难以处理复杂的个性化需求，如多件服装的组合、多样化的姿势和人体形态。为了克服这些局限性，香港...

自动化视频线稿上色是简化动画制作流程、降低劳动力成本的关键技术。然而，传统方法面临多个挑战： 角色设计艺术与线稿草图对齐问题：确保颜色信息准确地映射到线稿中。 时间一致性需求：保证动画帧之间的颜色和风...

近年来，基于人工智能的视频编辑技术取得了显著进展，用户可以通过简单的文本提示轻松编辑视频。然而，现有的零样本视频编辑方法主要集中在全局或单一对象的编辑上，这可能导致视频其他部分发生意外变化。当需要对多...

Adobe介绍了一个名为SUGAR（Subject-Driven Video Customization in a Zero-Shot Manner）的新技术，它是一种零样本（zero-shot）方法...

最近的研究表明，尽管视觉信息被高度压缩，视觉-语言模型（VLMs）依然能在多种任务中保持出色的性能。本研究聚焦于一种流行的加速方法——早期修剪视觉标记，并揭示了其成功背后的关键原因。研究人员发现，许多...

随着对沉浸式 AR/VR 应用和空间智能需求的增加，生成高质量的场景级和 360° 全景视频变得尤为重要。然而，大多数视频扩散模型受限于分辨率和宽高比，限制了它们在场景级动态内容合成中的应用。为了解决...

视频换脸技术近年来在各种应用中变得越来越流行，但现有方法主要集中在静态图像上，难以应对视频换脸中的时间一致性和复杂场景问题。为了解决这些问题，香港中文大学 MMLab、商汤科技研究院和 InnoHK ...

字节跳动介绍了一个名为CausalFusion的模型，它是一个基于解码器的变换器（decoder-only transformer），旨在统一自回归（AR）和扩散模型（diffusion models...

校正流模型（如 Flux）在图像生成中已成为主导方法，展示了高质量图像合成的卓越能力。然而，尽管它们在视觉生成中表现出色，校正流模型在图像的解耦编辑方面往往表现不佳。这一限制阻碍了在不影响图像无关部分...

多模态音乐生成旨在从多种输入模态（如文本、视频和图像）中生成音乐。尽管现有方法通过使用通用嵌入空间进行多模态融合，在其他任务中表现出色，但在多模态音乐生成中仍面临以下挑战： 数据稀缺：高质量的多模态音...

对象插入和主体驱动生成是计算机视觉中的两个重要任务，旨在将给定的对象合成到由图像或文本指定的场景中。具体来说： 对象插入：将一个对象无缝地插入到目标场景中，要求合成后的图像在姿态、光照等方面看起来逼真...

视觉扩散模型（Diffusion Models）在图像和视频生成领域取得了显著进展，但由于缺乏高分辨率数据和计算资源的限制，它们通常只能在有限的分辨率下进行训练。这阻碍了其生成高保真图像或视频的能力...