VAST AI推出EdenLive:实时生成式渲染方案,把世界状态和视觉渲染解耦,RTX5090可跑720P、24fps+,开源5B/14B权重

VAST AI 推出 EdenLive,属于 Project Eden 项目的实时生成式视频渲染器。核心创新思路是世界状态与视觉渲染解耦:上游代码代理、游戏引擎负责维护场景逻辑、物理、交互状态(碰撞、NPC、技能冷却等),EdenLive只负责接收参考视频流,实时生成高保真画面。消费级RTX 5090显卡上单卡可实现720P、24fps以上实时渲染,支持长达分钟级连续视频生成,项目开源5B、14B模型权重与全套推理代码。

  • 项目主页:https://vast-eden.ai/?p=edenlive
  • GitHub:https://github.com/VAST-AI-Research/EdenLive
  • 模型:https://huggingface.co/VAST-AI/EdenLive
VAST AI推出EdenLive:实时生成式渲染方案,把世界状态和视觉渲染解耦,RTX5090可跑720P、24fps+,开源5B/14B权重

工作流程与输入输出

EdenLive接收三类输入:

  1. 代理/参考视频流:定义场景布局、相机轨迹、物体运动;来源可以是编码代理生成的简易帧、引擎预览画面,甚至录屏。
  2. 目标首帧:锁定整套画面的视觉基调。
  3. 文本提示词:控制风格、细节质感。

输出是持续的精炼视频流。范式概括为代理到精细:依靠参考保留结构和运动,不要求参考素材具备高精度几何数据或者G缓冲等传统渲染信息。

核心技术

  1. 结构运动编码器:提取布局、相机、运动信息,剥离原始画面的外观色彩。同一套参考运动,可以套用多种美术风格,不会被参考图的原始画风污染。
  2. 跨模态配对数据管道:数据集覆盖2D/3D代理渲染、引擎画面、实拍视频,让模型兼容各种来源的参考输入。
  3. 实时视频蒸馏:把多步扩散模型蒸馏为少步分块自回归(chunk-AR)流式生成器,搭配流水线调度,实现长时序连续生成,适配实时交互循环。

关键特性

  • 参考输入兼容广泛:2D/3D代理帧、引擎动画、实拍视频都可以作为运动参考。
  • 运动布局锁定,外观自由:相机、物体运动严格跟随参考;视觉风格由首帧+提示词修改。
  • 实时+长时序:单RTX5090,5B模型720P 24fps以上,支持分钟不间断生成,可嵌入交互循环。
  • 开源完整资产:5B/14B双向与chunk-AR权重、实时流式推理代码,附带提示词生成简易游戏的前端完整管线。

适用场景

  • 交互式游戏预览:编码代理搭建游戏逻辑,EdenLive实时渲染高画质画面,状态(血量、技能CD)由上游引擎维护,不会像纯世界模型那样丢失游戏状态。
  • 动画/场景预览:美术资产尚未制作完成,先定好镜头和运动轨迹,快速切换不同美术风格。
  • 视频重渲染、实时风格迁移:保留原视频构图和动作,整体替换画面画风、角色、物体。
  • 机器人具身仿真数据增强:真人操作素材转换成机器人视角,替换画面物体做数据集扩充。

和同类方案对比

方案核心机制EdenLive差异点
交互式世界模型根据动作/文本直接生成画面EdenLive拆分状态与渲染,游戏业务逻辑、状态由上游代理维护,不会丢失NPC、冷却等信息
Vidu S2参考驱动实时生成Vidu S2偏向人像场景;EdenLive支持各类场景参考
Blockout类可控视频(Seedance2.5/H3)离线视频生成EdenLive支持实时流式渲染,可放进交互循环
DLSS5传统渲染之上做插帧、超分DLSS只是放大补帧;EdenLive是生成式渲染,可整体重绘画面,不受原始美术资产限制
© 版权声明

相关文章