视频模型

视频扩散模型虽能生成高质量内容，但其缓慢的推理速度长期制约实际应用。近日，清华大学、生数科技与加州大学伯克利分校联合提出 TurboDiffusion——一个端到端视频生成加速框架，在单张 RTX 5...

传统视频生成模型在生成长视频时，常因高维时空信号的复杂性而难以维持长期的空间与时间一致性——场景结构漂移、物体位置突变、相机运动不连贯等问题普遍存在。 项目主页：https://zhaojingjin...

NitroGen 是由英伟达开发的开放性具身智能基础模型（foundation model for embodied agents），旨在通过观察人类玩家的游戏视频，直接学习从原始画面到手柄动作的映射...

在肖像动画（Portrait Animation）任务中，身份一致性与推理效率是两大长期瓶颈。现有扩散模型即便能生成逼真短片，也常在长序列中出现身份漂移、颜色偏移或动作断裂，且生成速度慢，难以用于实际...

音频驱动的人类视频合成（Audio-Driven Talking Head）近年来在唇形同步和画面逼真度上取得显著进展。但生成长时间、高动态、身份一致的视频仍是行业难题：现有方法要么在长序列中出现身份...

在数字人、虚拟主播和直播场景中，高质量、低延迟、身份一致的肖像动画是核心需求。然而，主流扩散模型虽能生成逼真画面，却因高计算成本与多步去噪，难以满足实时交互要求——生成一段3秒视频往往需要数十秒，远不...

在虚拟角色动画、VR/AR交互和智能体控制中，如何让AI根据一句自然语言（如“一个人正在跳华尔兹”）生成逼真、连贯且语义一致的人体动作，一直是核心挑战。传统方法要么动作生硬，要么与文本描述脱节，难以兼...

在主体到视频（Subject-to-Video, S2V）生成任务中，目标是根据用户提供的多张目标主体参考图像和文本提示，合成一段主体身份一致、动作自然、背景可控的视频。尽管近期 S2V 模型取得进展...

在基于扩散模型的视频生成系统中，视频变分自编码器（VAE） 扮演着关键角色：它将像素空间视频压缩到潜在空间，供扩散模型高效训练。然而，现有视频 VAE 的设计往往过度聚焦于重建保真度，却忽视了一个更根...

高质量角色动画长期以来依赖昂贵的动作捕捉设备、繁琐的手动绑定和大量人力修型。尽管近年视频生成模型取得进展，但在复杂动作、风格化角色、多角色交互等场景下，现有方法仍普遍存在结构失真、时间不连贯、身份泄漏...

随着多模态生成技术的发展，用户对虚拟角色的期待已从“能说话”升级为“能自然表达、实时互动、持续存在”。为此，智谱AI推出了 RealVideo —— 一个端到端实时流式视频对话系统，能够将文本对话实时...

多人对话视频的自动生成，长期以来受限于两个关键难题：一是高质量多人视频数据极难获取，二是多个角色之间的互动行为难以建模。为解决这些问题，来自香港科技大学、Video Rebirth、浙江大学和北京交通...