新型SD模型压缩方法VQDM：通过向量量化技术，能够将大型的文本到图像扩散模型压缩到较低比特位表示，同时保持图像生成的高质量
Yandex 研究、HSE 大学、Skoltech、MIPT、Neural Magic和IST 奥地利的研究人员推出新型文本到图像扩散模型压缩方法VQDM，通过向量量化（Vector Quantiza...
排序
字节跳动推出数据集COCONut，专门针对图像分割任务
字节跳动推出数据集COCONut，它是对现有的COCO数据集的现代化升级，专门针对图像分割任务。图像分割是计算机视觉中的一个核心问题，它的目标是将图像中的每个像素正确地分类到不同的实例或类别中，此数据...
Video2Game：自动将现实世界的视频转化为真实且具备交互性的游戏环境
来自伊利诺伊大学厄巴纳-香槟分校、上海交通大学和康奈尔大学的研究人员推出Video2Game，它可以将任何真实世界的视频转换成一个实时、互动、真实感强且与浏览器兼容的游戏环境。例如，你有一段拍摄街道的...
ViewDiff：从文本或图像生成多视图图像
来自Meta和慕尼黑工业大学的研究人员推出ViewDiff，它能够根据文本描述或已有的图像输入，生成与3D对象一致的高质量图像。 项目主页 GitHub 想象一下，你只需要告诉计算机你想要的3D对象是...
快速视频生成方法AnimateLCM：只需四步推理就可以生成视频
来自香港中文大学、Avolution AI、上海人工智能实验室、商汤科技研究院的研究人员推出快速视频生成方法AnimateLCM，该方法利用一致性学习策略，将图像生成先验和运动生成先验进行解耦，从而提...
新型生成模型DisCo-Diff：用于增强连续扩散模型的性能
英伟达和麻省理工学院的研究人员推出新型生成模型DisCo-Diff，它用于增强连续扩散模型（Diffusion Models, DMs）的性能。扩散模型是一种强大的数据生成方法，但它们通常需要将复杂的...
适用于 DiTs 模型的快速后训练向量量化方法 VQ4DiT：能够在各种资源受限的环境中高效运行，同时保持生成图像的质量。
浙江大学和vivo的研究人员推出一种适用于 DiTs 的快速后训练向量量化方法 VQ4DiT，它是一种针对扩散变换器模型（Diffusion Transformers，简称DiTs）的高效后训练矢量化...
谷歌推出基于问答的自动评估指标Gecko，用于评估文生图模型的性能
谷歌推出基于问答的自动评估指标Gecko2K，用于评估文生图模型的性能。文生图模型生成的图像并不总是能够完全符合文本中的所有细节。因此，评估这些模型生成的图像与文本描述的匹配程度是一个重要的研究问题...
新的4位量化方法SVDQuant：通过量化权重和激活值为4位来加速模型的推理过程，同时保持图像质量
扩散模型因其在生成高保真图像方面的卓越能力而备受关注。然而，这些模型在内存和计算方面的要求非常高，这限制了它们在消费级设备和需要低延迟的应用中的部署。为了解决这些问题，研究人员提出了多种技术，包括后训...
FoleyCrafter：用于将无声视频通过自动生成高质量、与视频同步的声音效果，从而带来沉浸式的视听体验
上海人工智能实验室he 香港中文大学（深圳）的研究人员推出FoleyCrafter系统，它专门用于将无声视频通过自动生成高质量、与视频同步的声音效果，从而带来沉浸式的视听体验。这项技术在电影、电视和游...
自回归技术StreamingT2V：能够创建具有丰富运动动力学的长视频，不会出现停滞现象
来自Picsart AI研究部门、得克萨斯大学奥斯汀分校、佐治亚理工学院和伊利诺伊大学厄巴纳-香槟分校的研究团队推出先进的自回归技术StreamingT2V，能够创建具有丰富运动动力学的长视频，不会出...
阿里巴巴Wanx 团队推出新型多模态生成模型ACE：可以根据文本指令来执行复杂的图像编辑和生成任务
阿里巴巴Wanx 团队推出新型多模态生成模型ACE，这个模型的核心功能是处理和生成图像，但它与传统的图像处理工具不同，因为它可以根据文本指令来执行复杂的图像编辑和生成任务。例如，你是一名摄影师，你拍摄...
