自级联扩散模型Self-Cascade：快速适应高分辨率的图像和视频生成
来自南洋理工大学、腾讯AI实验室、香港科技大学和克莱姆森大学的研究人员提出了一种名为自级联扩散模型（Self-Cascade Diffusion Model）的新方法，该方法利用了低分辨率模型的丰富知...
排序
一种新颖的模型微调方法DoRA：比LoRA更精细、更全面的微调策略
DoRA（Weight-Decomposed Low-Rank Adaptation）是一种用于微调（fine-tuning）大型预训练模型的新方法。DoRA的核心思想是将预训练模型的权重分解为两个部...
新型文生图模型的微调算法SPIN-Diffusion
SPIN-Diffusion是一种新型文生图模型的微调算法。这个算法特别适用于那些只有单个图像与文本提示（prompt）相关联的数据集，它通过一种自我博弈（self-play）的机制，让模型不断地与自...
Meta发布世界模型早期版本V-JEPA：无需人工标注或指导，自主学习视频中的视觉信息
Meta今日推出V-JEPA（Video Joint-Embedding Predictive Architecture）模型，一种通过观看视频来教机器理解和模拟物理世界的方法，以迈向利用对世界的学习...
OpenAI公开AI视频生成模型Sora：可创建长达 60 秒的视频
OpenAI公开了AI视频生成（文生视频）模型Sora，它可以创建长达 60 秒的视频，其中包含高度详细的场景、复杂的摄像机运动和具有生动情感的多个角色。 官方介绍 以下是官方介绍全文翻译： 我们正在...
多模态问答系统Lumos：结合场景文本识别和多模态大语言模型
来自Meta Reality Labs的研究人员推出了多模态问答系统Lumos，这是一个结合了场景文本识别（Scene Text Recognition, STR）和多模态大语言模型（Multimod...
连续3D词（Continuous 3D Words）：通过文本提示来精细控制图像生成过程中的多个属性
来自牛津大学、Adobe Research的研究人员提出了一种“连续3D词（Continuous 3D Words）”的新方法，使得用户能够通过文本提示来精细控制图像生成过程中的多个属性，比如照明方向...
AI动画生成框架Keyframer：利用GPT4生成动画
来自苹果的研究人员推出一款利用大语言模型（LLMs）生成动画的框架Keyframer，它利用大语言模型（LLMs）来帮助设计师通过自然语言描述来创建动画。 论文地址 Keyframer的主要功能包括从...
深度估算模型Depth Anything：让照片自动感知空间距离
来自香港大学、TikTok、浙江实验室、浙江大学的研究人员推出了深度估算模型Depth Anything，它是一个用于单目深度估计（Monocular Depth Estimation, MDE）的实...
AI视频生成模型Animated Stickers：让静态表情包动起来
来自Meta的研究人员推出了AI视频生成模型Animated Stickers，它可以让普通表情包图片“动”起来。这项技术的核心是利用先进的文本到图像（Text-to-Image）模型，通过添加时间层...
AI视频生成系统Direct-a-Video：像导演拍摄视频一样生成视频
Direct-a-Video是一个AI视频生成系统，该系统允许用户独立地为一个或多个对象和/或相机运动指定运动，就像导演拍摄视频一样。 项目主页 开发者提出了一种简单而有效的策略，用于分别控制对象运动...
基于IMUs的面部捕捉系统IMUSIC：适用于多种场景，尤其是在视觉捕捉受限的情况下
来自上海科技大学、灵秘科技、影眸科技和ElanTech的研究人员推出了一种创新面部捕捉系统IMUSIC，它基于惯性测量单元（IMUs）来捕捉面部表情，而不是依赖于传统的视觉输入。IMUSIC的设计旨在...
