视频插帧新技术ZeroSmooth：提升预训练视频扩散模型生成高帧率视频的能力，而无需额外的训练数据和参数更新
中国科学院大学人工智能学院、中国科学院自动化研究所模式识别新实验室和腾讯AI实验室的研究人员推出ZeroSmooth，它能够提升预训练视频扩散模型生成高帧率视频的能力，而无需额外的训练数据和参数更新...
排序
基于指令的高质量图像编辑数据集HQ-Edit
加州大学圣克鲁斯分校的研究人员推出高质量数据集HQ-Edit，它专门用于基于指令的图像编辑任务。例如，你有一张图片，想要根据某些具体的指令来修改它，比如改变背景、调整物体的颜色或者添加一些新元素。HQ...
语音驱动人脸说话生成框架AVCT
来自网易伏羲AI实验室、悉尼科技大学的研究人员推出了从单人音频生成单人说话脸部的框架Audio-Visual Correlation Transformer (AVCT)，它能够从单个说话者的音频-视...
Follow-Your系列新框架Follow-Your-Emoji：基于扩散模型的肖像动画框架，生成富有表现力的表情动画
来自香港科技大学、腾讯混元团队和清华大学的研究团队推出Follow-Your系列新框架Follow-Your-Emoji，这是一种基于扩散模型的肖像动画框架。简单来说，它可以根据一系列目标表情和动作标...
新型图像生成模型FiT:基于Transformer架构，可以生成无限制分辨率和长宽比的图像
FiT（Flexible Vision Transformer）是一款新型图像生成模型，基于Transformer架构，旨在生成具有无限制分辨率和长宽比的图像。 GitHub 论文 模型 传统的图像生...
专为人体图像动画设计的大规模高质量数据集HumanVid：结合了精心挑选的真实世界数据和合成数据
香港中文大学和上海人工智能实验室的研究人员推出HumanVid，它旨在揭开用于生成逼真人物视频动画的训练数据的神秘面纱。HumanVid是首个为人物图像动画量身定制的大规模、高质量的数据集，它结合了精...
新型图像压缩技术CMC（模态压缩）：利用大型多模态模型来实现图像到文本再到图像的转换，从而在保持图像质量的同时，大幅度减小图像的大小
上海交通大学和南洋理工大学的研究人员推出一种新型的图像压缩技术“跨模态压缩”（Cross Modality Compression，简称CMC）。这项技术的核心思想是利用大型多模态模型（Large M...
新型视频深度估计方法DepthCrafter：为开放世界（即不受限制、多样化的现实世界场景）的视频生成时间上连贯、细节丰富的深度序列
腾讯人工智能实验室、香港科技大学和腾讯 PCG ARC 实验室的研究人员推出新型视频深度估计方法DepthCrafter，能够为开放世界（即不受限制、多样化的现实世界场景）的视频生成时间上连贯、细节丰...
一维（1D）标记化技术TiTok：用极少的标记（tokens）来表示和生成高分辨率图像
字节跳动和慕尼黑工业大学的研究人员推出新型图像表示方法TiTok，它通过一种新颖的一维（1D）标记化技术，用极少的标记（tokens）来表示和生成高分辨率图像。这种方法与传统的二维（2D）图像标记化方...
新型视频超分辨率（VSR）技术EvTexture：通过挖掘事件数据中的高频细节，从而提高视频的分辨率和质量
中国科学技术大学和合肥国家科学中心人工智能研究院的研究人员推出新型视频超分辨率（VSR）技术EvTexture，这项技术的核心在于利用事件驱动的信号来增强视频中的纹理细节，从而提高视频的分辨率和质量...
新型视频生成框架ConFiner：结合多个专家模型的能力，以一种高效且无需训练的方式，生成高质量且连贯的视频内容
悉尼大学、东南大学、中南大学、上海交通大学、商汤科技研究院和香港科技大学的研究人员推出新型视频生成框架ConFiner，它通过一系列现成的扩散模型专家（diffusion model experts...
创新框架MotionBooth：生成具有定制主体和可控主体及摄像机运动的动画视频
北京大学、南洋理工大学、上海人工智能实验室、浙江大学和上海交通大学的研究人员推出创新框架MotionBooth，它专门用于生成具有定制主体和可控主体及摄像机运动的动画视频。简单来说，MotionBoo...
