VAST AI 推出 EdenLive,属于 Project Eden 项目的实时生成式视频渲染器。核心创新思路是世界状态与视觉渲染解耦:上游代码代理、游戏引擎负责维护场景逻辑、物理、交互状态(碰撞、NPC、技能冷却等),EdenLive只负责接收参考视频流,实时生成高保真画面。消费级RTX 5090显卡上单卡可实现720P、24fps以上实时渲染,支持长达分钟级连续视频生成,项目开源5B、14B模型权重与全套推理代码。
- 项目主页:https://vast-eden.ai/?p=edenlive
- GitHub:https://github.com/VAST-AI-Research/EdenLive
- 模型:https://huggingface.co/VAST-AI/EdenLive

工作流程与输入输出
EdenLive接收三类输入:
- 代理/参考视频流:定义场景布局、相机轨迹、物体运动;来源可以是编码代理生成的简易帧、引擎预览画面,甚至录屏。
- 目标首帧:锁定整套画面的视觉基调。
- 文本提示词:控制风格、细节质感。
输出是持续的精炼视频流。范式概括为代理到精细:依靠参考保留结构和运动,不要求参考素材具备高精度几何数据或者G缓冲等传统渲染信息。
核心技术
- 结构运动编码器:提取布局、相机、运动信息,剥离原始画面的外观色彩。同一套参考运动,可以套用多种美术风格,不会被参考图的原始画风污染。
- 跨模态配对数据管道:数据集覆盖2D/3D代理渲染、引擎画面、实拍视频,让模型兼容各种来源的参考输入。
- 实时视频蒸馏:把多步扩散模型蒸馏为少步分块自回归(chunk-AR)流式生成器,搭配流水线调度,实现长时序连续生成,适配实时交互循环。
关键特性
- 参考输入兼容广泛:2D/3D代理帧、引擎动画、实拍视频都可以作为运动参考。
- 运动布局锁定,外观自由:相机、物体运动严格跟随参考;视觉风格由首帧+提示词修改。
- 实时+长时序:单RTX5090,5B模型720P 24fps以上,支持分钟不间断生成,可嵌入交互循环。
- 开源完整资产:5B/14B双向与chunk-AR权重、实时流式推理代码,附带提示词生成简易游戏的前端完整管线。
适用场景
- 交互式游戏预览:编码代理搭建游戏逻辑,EdenLive实时渲染高画质画面,状态(血量、技能CD)由上游引擎维护,不会像纯世界模型那样丢失游戏状态。
- 动画/场景预览:美术资产尚未制作完成,先定好镜头和运动轨迹,快速切换不同美术风格。
- 视频重渲染、实时风格迁移:保留原视频构图和动作,整体替换画面画风、角色、物体。
- 机器人具身仿真数据增强:真人操作素材转换成机器人视角,替换画面物体做数据集扩充。
和同类方案对比
| 方案 | 核心机制 | EdenLive差异点 |
|---|---|---|
| 交互式世界模型 | 根据动作/文本直接生成画面 | EdenLive拆分状态与渲染,游戏业务逻辑、状态由上游代理维护,不会丢失NPC、冷却等信息 |
| Vidu S2 | 参考驱动实时生成 | Vidu S2偏向人像场景;EdenLive支持各类场景参考 |
| Blockout类可控视频(Seedance2.5/H3) | 离线视频生成 | EdenLive支持实时流式渲染,可放进交互循环 |
| DLSS5 | 传统渲染之上做插帧、超分 | DLSS只是放大补帧;EdenLive是生成式渲染,可整体重绘画面,不受原始美术资产限制 |
© 版权声明
文章版权归作者所有,未经允许请勿转载。















