新技术

Controlnet作者lllyasviel的新开源项目Omost，这是一个将大语言模型的编程能力转化为图像合成能力的项目。项目名称“Omost”（发音类似于“almost”，意为“几乎”）蕴含双重意...

商汤研究院推出文本嵌入模型Piccolo2，它在多个任务上的表现超越了其他模型，并在CMTEB基准测试中创下了新的最高标准。文本嵌入是一种将文本转换成数值向量的技术，这些向量能够捕捉单词、短语或整篇文...

扩散模型因其在生成高保真图像方面的卓越能力而备受关注。然而，这些模型在内存和计算方面的要求非常高，这限制了它们在消费级设备和需要低延迟的应用中的部署。为了解决这些问题，研究人员提出了多种技术，包括后训...

旷视科技与字节跳动的研究人员推出新型框架HiDiffusion，只需添加一行代码即可提高扩散模型（Stable Diffusion）在生成高分辨率图像方面的能力和效率。现有的扩散模型在生成超出训练时所...

英伟达和特拉维夫大学的研究人员推出新型文生图系统ComfyGen，此系统能够根据用户提供的文本提示（prompt），自动选择或生成最适合该提示的图像生成工作流。研究团队引入了一个新颖的任务——提示自适...

香港中文大学、斯坦福大学、Snap、加州大学洛杉矶分校和字节跳动的研究人员推出新型图像编辑框架3DitScene，它能够通过语言引导的解耦高斯散射（Language-guided Disentangl...

来自腾讯、东京大学、澳大利亚国立大学、上海交通大学的研究人员推出新型3D场景生成技术BlockFusion，它使用基于扩散模型的方法来创建和扩展3D场景。 论文 BlockFusion的核心思想是将3...

Snap、阿卜杜拉国王科技大学和特伦托大学的研究人员推出新型视频生成模型Hierarchical Patch Diffusion Models（HPDM，分层补丁扩散模型），这个模型专门设计用于高分辨...

Meta推出新型框架OPT2I，它旨在通过优化文本提示（prompt）来提高文本到图像（T2I）生成模型的图像与输入提示的一致性。尽管现有的T2I模型能够生成高质量和逼真的图像，但它们在确保生成的图像...

香港科技大学、清华大学和生数科技的研究人员推出一个名为DimensionX的框架，它能够从单张图片生成高逼真度的3D和4D场景，并且通过视频扩散技术（video diffusion）实现对空间和时间维...

来自魏茨曼科学研究所和以色列理工学院的研究人员推出一种新颖的图像编辑技术Paint by Inpaint，它能够根据文本指令在图像中添加对象，而无需用户提供输入遮罩（mask）。这项技术的核心在于利用...

香港大学、华为诺亚方舟实验室、香港中文大学、清华大学、上海交通大学和无问芯穹的研究人员推出一种无需训练的概率并行解码算法SJD（猜测性雅可比解码），用于加速自动回归文本到图像的生成模型。自动回归模型在...