OpenAI公开AI视频生成模型Sora：可创建长达 60 秒的视频
OpenAI公开了AI视频生成（文生视频）模型Sora，它可以创建长达 60 秒的视频，其中包含高度详细的场景、复杂的摄像机运动和具有生动情感的多个角色。 官方介绍 以下是官方介绍全文翻译： 我们正在...
排序
多模态问答系统Lumos：结合场景文本识别和多模态大语言模型
来自Meta Reality Labs的研究人员推出了多模态问答系统Lumos，这是一个结合了场景文本识别（Scene Text Recognition, STR）和多模态大语言模型（Multimod...
连续3D词（Continuous 3D Words）：通过文本提示来精细控制图像生成过程中的多个属性
来自牛津大学、Adobe Research的研究人员提出了一种“连续3D词（Continuous 3D Words）”的新方法，使得用户能够通过文本提示来精细控制图像生成过程中的多个属性，比如照明方向...
AI动画生成框架Keyframer：利用GPT4生成动画
来自苹果的研究人员推出一款利用大语言模型（LLMs）生成动画的框架Keyframer，它利用大语言模型（LLMs）来帮助设计师通过自然语言描述来创建动画。 论文地址 Keyframer的主要功能包括从...
深度估算模型Depth Anything：让照片自动感知空间距离
来自香港大学、TikTok、浙江实验室、浙江大学的研究人员推出了深度估算模型Depth Anything，它是一个用于单目深度估计（Monocular Depth Estimation, MDE）的实...
AI视频生成模型Animated Stickers：让静态表情包动起来
来自Meta的研究人员推出了AI视频生成模型Animated Stickers，它可以让普通表情包图片“动”起来。这项技术的核心是利用先进的文本到图像（Text-to-Image）模型，通过添加时间层...
AI视频生成系统Direct-a-Video：像导演拍摄视频一样生成视频
Direct-a-Video是一个AI视频生成系统，该系统允许用户独立地为一个或多个对象和/或相机运动指定运动，就像导演拍摄视频一样。 项目主页 开发者提出了一种简单而有效的策略，用于分别控制对象运动...
基于IMUs的面部捕捉系统IMUSIC：适用于多种场景，尤其是在视觉捕捉受限的情况下
来自上海科技大学、灵秘科技、影眸科技和ElanTech的研究人员推出了一种创新面部捕捉系统IMUSIC，它基于惯性测量单元（IMUs）来捕捉面部表情，而不是依赖于传统的视觉输入。IMUSIC的设计旨在...
AI音乐模型Stable Audio：结合文本提示和时间控制长音频生成
Stability AI发布AI音乐模型Stable Audio，它专注于从文本提示生成高质量、可变长度的立体声音乐和音效。这个模型特别适用于需要快速生成长形式音频内容的场景，如音乐制作、游戏音效设计...
专门解读胸部X光片的图像模型CheXagent：帮助医生提高临床决策的效率和质量
来自斯坦福大学和Stability AI的研究人员推出了一个专门解读胸部X光片的图像模型CheXagent，这个模型的目的是帮助医生更准确地分析和理解X光片，从而提高临床决策的效率和质量。 项目主页 ...
阿里推出AI视频生成模型I2VGen-XL
阿里旗下达摩院推出AI视频生成模型I2VGen-XL，可以根据用户输入的静态图像和文本生成目标接近、语义相同的视频，生成的视频具高清 (1280 * 720)、宽屏 (16:9)、时序连贯、质感好等特...
AI视频生成新模型CONSISTI2V：通过增强视觉一致性来改善视频生成的质量
来自滑铁卢大学、Vector Institute、Harmony.AI、多模式艺术投影研究社区的研究人员提出了一种基于扩散的图像到视频生成新方法CONSISTI2V，它旨在通过增强视觉一致性来改善视频...
