新技术

IC-Light是Controlnet、Fooocus、Stable Diffusion WebUI Forge的开发者lllyasviel推出新开源项目，这是一款控制图像照明效果的模型，简单来说其主...

阳明交通大学、东京大学和联发科的研究人员推出DiffIR2VR-Zero，它能够实现零样本（zero-shot）视频恢复。零样本意味着这种方法不需要针对特定任务进行训练，就能将低质量的视频转换成高质量...

来自北京大学人工智能研究院、BIGAI通用人工智能国家重点实验室、北京大学CFCS计算机学院和北京理工大学的研究团队创建一个详细的人类与场景互动数据集trumans，并开发出一种先进的动作生成模型，为...

来自北京大学和快手科技的研究人员推出新型文本到视频生成框架VideoTetris，此框架专门设计来解决现有方法在处理复杂场景（如多对象或对象数量动态变化的长视频）生成时面临的挑战。VideoTetri...

来自斯坦福大学、加州大学圣地亚哥分校和Apparate Labs的研究人员推出MVEdit，这是一个用于3D对象合成和编辑的通用3D扩散适配器。 项目主页 Demo GitHub MVEdit的核心功...

来自特拉维夫大学、赖希曼大学的研究人员推出新型图像编辑框架Differential Diffusion，此框架的核心特点是能够让用户对图像的每个像素或区域进行不同程度的编辑，这在以往的图像编辑技术中是...

腾讯推出大语言模型适配器（LLM Adapter）ELLA，无需 U-Net 或大语言模型训练，就可通过 ELLA ，为文生图模型增强文本对齐，解决大多数模型受限于 CLIP 本身对密集提示词的理解能...

韩国研究人员推出视觉语言模型CoLLaVO（Crayon Large Language and Vision mOdel），此模型旨在通过增强对象级别的图像理解能力，提高视觉语言模型（VLMs）在零样...

苏黎世联邦理工学院和迪士尼搜索的研究人员提出了两种新的图像生成模型引导方法——独立条件引导（ICG）和时间步引导（TSG），它们可以在不牺牲这两种特性的情况下，改善生成模型的表现。这些方法可以提高生成...

来自东京大学和腾讯AI实验室推出新型可控图像动画方法MOFA-Video，能够根据给定的图像和额外的可控信号（例如人体标记、手动轨迹或提供的其他视频）或它们的组合，从给定的图像中生成视频。这与以往的方...

PaLM2-VAdapter模型的主要目的是更有效地连接视觉编码器和大语言模型，以提高它们之间的协同工作效果。 论文 它能够有效地将传统的视觉编码器（vision encoders）和大语言模型（LL...

来自加州大学圣地亚哥分校和Meta的研究人员推出AI视频编辑工具LAVE（LLM-Powered Agent Assistance and Language Augmentation for Vide...