零样本视频恢复DiffIR2VR-Zero：将低质量的视频转换成高质量的视频
阳明交通大学、东京大学和联发科的研究人员推出DiffIR2VR-Zero，它能够实现零样本（zero-shot）视频恢复。零样本意味着这种方法不需要针对特定任务进行训练，就能将低质量的视频转换成高质量...
排序
多模态框架MotionLLM：理解和解释人类行为，特别是通过分析人体动作和视频
清华大学、香港中文大学（深圳）、国际数字经济学院和香港科技大学的研究人员推出人工智能系统MotionLLM，它的主要任务是理解和解释人类行为，特别是通过分析人体动作和视频。例如，你有一台智能相机，它不...
大语言模型适配器ELLA：提升了文生图模型处理复杂描述的能力
腾讯推出大语言模型适配器（LLM Adapter）ELLA，无需 U-Net 或大语言模型训练，就可通过 ELLA ，为文生图模型增强文本对齐，解决大多数模型受限于 CLIP 本身对密集提示词的理解能...
新型图像生成模型Hourglass Diffusion Transformer（HDiT）
Stability AI、慕尼黑大学和Birchlabs的开发人员提出了一种名为Hourglass Diffusion Transformer（HDiT）的新型图像生成模型，该模型在保持高分辨率图像合...
新型视频生成技术“CVD（协作视频扩散）”：生成从多个不同摄像机轨迹视角下观察同一场景的一致性视频
斯坦福大学和香港中文大学的研究人员推出新型视频生成技术“协作视频扩散”（Collaborative Video Diffusion，简称CVD），这项技术的核心目标是能够生成从多个不同摄像机轨迹视角下...
创新框架UniAnimate：用于生成高质量、时间连贯的人类图像动画视频
华中科技大学、 阿里巴巴和中国科学技术大学的研究人员推出创新框架UniAnimate，它专门用于生成高质量、时间连贯的人类图像动画视频。UniAnimate通过结合统一的视频扩散模型、统一的噪声输入和...
视觉语言模型CoLLaVO：提高视觉语言模型在零样本视觉语言任务中的性能
韩国研究人员推出视觉语言模型CoLLaVO（Crayon Large Language and Vision mOdel），此模型旨在通过增强对象级别的图像理解能力，提高视觉语言模型（VLMs）在零样...
图像转换方法img2img-turbo：在单个步骤中完成复杂的图像转换任务，同时不需要成对的训练数据，适用于多种应用场景
来自卡内基梅隆大学和Adobe的研究人员推出新的图像转换方法img2img-turbo，它能够在单个步骤中将图像从源域转换到目标域，例如从白天的场景转换到夜晚，或者添加和移除天气效果如雾、雪和雨。这种...
英伟达推出新型文生图模型BlobGEN：基于blob（斑点）的文本到图像扩散模型
英伟达推出新型文生图模型BlobGEN，这个模型的核心思想是将场景分解为视觉原语——被称为密集的blob（斑点）表示——这些表示包含了场景的细粒度细节，同时具备模块化、易于理解和构建的特点。例如，一个...
后训练压缩策略DiTFastAttn：压缩和加速DiT模型，缓解DiT的计算瓶颈问题
来自清华大学、无问芯穹（Infinigence AI）、卡内基梅隆大学和上海交通大学的研究人员推出新技术DiTFastAttn，它专门用于压缩和加速一种称为Diffusion Transformers...
3D图像渲染技术SAGS：改进现有的3D图像渲染方法，以实现更高质量的图像渲染，同时减少所需的计算资源和存储空间
来自伦敦帝国理工学院和华为诺亚方舟实验室的研究人员推出新的3D图像渲染技术SAGS（Structure-Aware 3D Gaussian Splatting），这项技术旨在改进现有的3D图像渲染方法...
独立条件引导（ICG）和时间步引导（TSG）：在不牺牲这两种特性的情况下，改善生成模型的表现
苏黎世联邦理工学院和迪士尼搜索的研究人员提出了两种新的图像生成模型引导方法——独立条件引导（ICG）和时间步引导（TSG），它们可以在不牺牲这两种特性的情况下，改善生成模型的表现。这些方法可以提高生成...
