新技术

北京航空航天大学、01.AI、香港理工大学、AIWaves、阿尔伯塔大学、滑铁卢大学、曼彻斯特大学、中国科学院自动化研究所、北京大学和香港科技大学的研究人员推出一个基于多模态token的新型基础模型M...

伊利诺伊大学香槟分校推出一种新颖的图像到视频生成方法PhysGen，它能够将一张静态图片转换成一段真实感强、物理上可信、时间上连贯的视频。简单来说，就是给定一张图片，比如一个球在斜坡上，PhysGen...

悉尼科技大学、百度和浙江大学的研究人员推出图像复制检测模型ICDiff，这是第一个专门针对扩散模型的ICD（图像复制检测）。为此，研究人员构建了一个扩散-复制（D-Rep）数据集，并相应地提出了一种新...

阿里巴巴Wanx 团队推出新型多模态生成模型ACE，这个模型的核心功能是处理和生成图像，但它与传统的图像处理工具不同，因为它可以根据文本指令来执行复杂的图像编辑和生成任务。例如，你是一名摄影师，你拍摄...

商汤科技研究院、北京航空航天大学、莫纳什大学和香港科技大学推出一种用于加速DiT模型的训练和推理过程的方法HarmoniCa，通过基于Step-Wise去噪训练（SDT）和图像错误代理引导目标（IEP...

哥伦比亚大学的研究人员推出一个允许在语音合成中对任意情感进行细粒度控制的框架EmoKnob，它用于提升语音克隆技术，只需少量示 范样本，允许用户在语音合成中精细控制情感及其强度。简单来说，EmoKno...

清华大学的研究人员推出一种高效且精确的注意力机制量化方法SageAttention，此方法的OPS（每秒操作数）性能分别比FlashAttention2和xformers提高了约2.1倍和2.7倍。S...

香港大学和字节跳动的研究人员推出新型视频生成模型Loong，它基于自回归大语言模型（LLMs），能够生成长达一分钟的连贯、内容丰富的视频。这在视频生成领域是一个挑战，因为视频通常包含大量的帧，每帧都需...

苹果推出新预训练方法CLOC（对比定位语言-图像预训练），旨在提升图像和文本表示的预训练效果，特别是在局部区域的语义理解方面。CLOC模型可以生成高分辨率、细节丰富的深度图，这些深度图不仅包含整体图像...

苹果推出一个用于零样本度量单目深度估计的基础模型Depth Pro，它用于提高单目深度估计的准确性和细节表现。单目深度估计是指仅使用一个摄像头拍摄的单张图片来预测场景中每个像素的深度信息。例如，你用手...

苏黎世联邦理工学院和迪士尼研究的研究人员推出自适应投影引导（APG），保留了CFG提高质量的优势，同时允许使用更高的引导比例而不产生过饱和。APG易于实现，并且实际上不会给采样过程带来额外的计算开销...

英伟达和特拉维夫大学的研究人员推出新型文生图系统ComfyGen，此系统能够根据用户提供的文本提示（prompt），自动选择或生成最适合该提示的图像生成工作流。研究团队引入了一个新颖的任务——提示自适...