来自伊利诺伊大学厄巴纳-香槟分校、上海交通大学和康奈尔大学的研究人员推出Video2Game，它可以将任何真实世界的视频转换成一个实时、互动、真实感强且与浏览器兼容的游戏环境。例如，你有一段拍摄街道的视频，Video2Game能够将这段视频中的场景变成一个你可以在电脑或手机上控制角色走动、与物体互动的游戏世界。
- 项目主页：https://video2game.github.io
- GitHub：https://github.com/video2game/video2game
- DEMO：https://video2game.github.io/src/garden/index.html
Video2Game系统主要由三个核心组件构成：(i) 神经辐射场（NeRF）模块，该模块能有效捕捉场景的几何结构和视觉外观；(ii) 网格模块，该模块从NeRF中提取信息，以实现更快速的渲染；(iii) 物理模块，该模块模拟物体间的交互和物理动态。通过遵循开发团队精心设计的流程，用户能够构建出真实世界的可交互、可操作的数字副本。开发团队在室内和大型室外场景中对我们的系统进行了基准测试，结果表明，Video2Game不仅能够实时生成高度逼真的渲染效果，还能在此基础上构建互动游戏。
主要功能和特点：
- 实时渲染： Video2Game能够实时渲染出高质量的图像，这意味着你可以在游戏中流畅地探索和互动，而不会遇到卡顿或延迟。
- 互动性： 用户可以在游戏中自由探索，与场景中的物体进行真实的物理交互，比如推动物体或撞到汽车。
- 真实感： 通过结合神经辐射场（NeRF）技术和物理模拟，Video2Game创建的环境看起来和真实世界一样，具有高度的真实感。
- 浏览器兼容性： 这个系统生成的游戏可以直接在浏览器中运行，无需下载或安装额外的软件。
工作原理：
- 视频输入： 首先，系统接收一个真实世界场景的视频作为输入。
- 神经辐射场（NeRF）模块： 这个模块负责捕捉场景的几何形状和视觉外观，通过学习视频中的像素如何随位置和视角变化。
- 网格模块： 将NeRF转换为游戏引擎兼容的网格表示形式，这样可以更快地渲染图像，同时保持整体质量。
- 物理模块： 分解场景中的物体，并为它们分配物理属性（如质量、摩擦力），然后使用这些属性来模拟物体之间的相互作用。
具体应用场景：
- 游戏开发： 游戏设计师可以使用Video2Game快速创建基于真实世界的互动游戏，节省了传统建模的时间和精力。
- 虚拟现实（VR）体验： 为VR设备提供真实感强的虚拟环境，用户可以在VR中体验到真实世界的场景。
- 自动驾驶模拟器： 利用Video2Game创建真实交通环境的模拟，用于测试和训练自动驾驶系统。
- 机器人学习： 在模拟的环境中训练机器人执行各种任务，如抓取、搬运物体，然后再将这些技能应用到现实世界中。
总的来说，Video2Game是一个将真实视频转换成互动游戏世界的技术，它通过结合先进的图形渲染和物理模拟技术，为用户提供了一个真实感强、互动性好的虚拟环境。
评论0